Ручную проверку ИИ‑агента в банке уменьшают постепенно, по замеру ошибок
Ступени здесь показывают, как часто сотрудник проверяет агента, а не что агенту разрешено: сначала каждое действие, потом выборку, потом только отклонения, а в конце отчёт и выборку. Ступень выше дают по замеру ошибок, после сбоя агента возвращают на ступень ниже.
Если в 300 независимых случайных проверках ошибок нет, верхняя граница доли ошибок около 1 % при доверии 95 %. Это оценка для проверенных условий, а не гарантия для будущих действий. В примере банка такая выборка занимает 5 часов проверки в неделю вместо 167. Ниже каждая ступень, как её проверить и с чего начать.
- 1сотрудник проверяет каждое действие
- 2агент прикладывает доказательство, сотрудник смотрит выборку
- 3система держит лимиты, сотрудник разбирает отклонения
- 4агент работает сам, человек получает отчёт и выборку
- Ответы клиентам в чатечастые вопросы, деньги клиента не трогает4
- Сверка выписокдоказательство к каждой строке3
- Разбор спорных операцийсбой, месяц 6: ступень 3 → 22
- Переводы по поручению клиентакаждое действие с деньгами клиента подтверждает человек1
ступень: кто проверяет · пример пилота, месяцы условные
ступень: кто проверяет · месяц 6 примера
- 300 действийбез ошибки в случайной выборкеверхняя граница доли ошибок 0,994 %, не гарантиярасчёт, односторонняя граница 95 %
- 5 часов вместо 167проверки в неделювыборка 300 из 10 000 операций, минута на каждуюпример расчёта, допущения в тексте
- 162 часав неделю больше не уходят на сплошную проверкуразбор исключений из них не вычтенпример расчёта, допущения в тексте
- 2 неделисчитают ошибки до первого решенияпервая ступень не трогает процесспример сроков, порядок автора страницы
Узкое место
При сплошной проверке агент работает со скоростью сотрудника
В примере агент сверяет 2 000 операций в день. Сотрудник проверяет 480 за восемь часов, если тратит на операцию всего минуту. Остальное ждёт, и к пятнице в очереди набирается 7 600 операций. Чтобы проверить всё, нужно больше четырёх сотрудников, и агент только быстрее пополняет очередь.
ждут проверки к концу дня
пример расчёта, допущения в тексте
Выборка
300 чистых проверок дают верхнюю границу ошибок, а не гарантию
Если в 300 независимых случайных проверках ошибок нет, верхняя граница доли ошибок 0,994 % при доверии 95 %. Это односторонняя биномиальная граница: её считают в предположении, что вероятность ошибки одна для всех действий, и она говорит только о проверенных условиях. Для границы ниже 1 % хватает и 299 проверок; если найдётся одна ошибка, понадобится 473. Это «правило трёх»: граница примерно равна трём, делённым на размер выборки. Расчёт не учитывает связанные между собой действия, новую версию агента, новый тип запросов, ошибки, которые пропустил проверяющий, и редкие тяжёлые последствия. Размер выборки не растёт вместе с числом операций: если их 10 000 в неделю, а проверка занимает минуту, выборка требует 5 часов проверки в неделю вместо 167.
верхняя граница доли ошибок0,994 %
часов проверки в неделю5
расчёт, односторонняя граница 95 %
Доказательство
Агент прикладывает к действию основания, и проверка становится короче
Чтобы проверить голое «сверено», сотрудник повторяет работу: открывает выписку, находит документ, пересчитывает комиссию, в примере около 6 минут на операцию. В карточке с доказательством уже есть строка выписки, документ и правило, которое применил агент. Сотрудник сверяет совпадения, и в примере на это уходит минута. Из таких минут складываются 5 часов выборки в неделю. Минута здесь учебная оценка: если карточка показала ошибку, её разбор и исправление занимают отдельное время.
«сверено»
около 6 минут
без доказательства: сотрудник повторяет всю работу
сверено · платёж клиента 48 300 ₽
1 минута
- строка выписки12.09, 48 300 ₽, сумма и дата совпали
- документсчёт к платежу, реквизиты совпали
- правилокомиссия банка учтена по тарифу клиента
- итограсхождение 0 ₽, оснований для ручной проверки нет
пример карточки и времени проверки
Тесты из ошибок
Найденная ошибка становится тестом для каждой новой версии агента
Если в выборке нашли ошибку, её разбирают и записывают правилом, а сам случай кладут в набор прошлых случаев. Новую версию агента прогоняют по всему набору: не прошла хоть один, в работу не выходит. Так снижается риск, что знакомый случай повторится. Набор проверяет только случаи, которые в нём есть: другой вариант той же причины или новую задачу по-прежнему ищет выборка.
набор прошлых случаев
- месяц 1:всего40
- месяц 2:всего95
- месяц 3:всего160
- версия 6158 / 160не прошла 2 случая, в работу не выходит
- версия 7160 / 160прошла 160 из 160, выходит в работу
пример, число случаев условное
Цена ошибки
Лимит операции ограничивает прямые потери от ошибок агента
Это пример оценки прямых потерь. Допущения: доля ошибок 1 %, на уровне границы из выборки, 10 000 операций в неделю, и каждая ошибка стоит не больше лимита операции. Тогда в расчёте 100 ошибочных операций в неделю. Это сценарий, а не худшая неделя: граница доли ошибок не потолок для конкретной недели, ошибок в ней может оказаться больше. Лимит держит система банка, а не модель: операция выше лимита останавливается и уходит сотруднику. Ответы в чате не двигают деньги, и прямых потерь у них 0 ₽, но ответ клиенту может причинить репутационный, правовой или информационный ущерб. Поэтому ноль в таблице сам по себе ступень не повышает: её дают по замеру ошибок и тяжести последствий. С лимитом на возврат прямые потери ограничены, и банк сверяет сумму со своим аппетитом к риску. Без лимита процесс остаётся за человеком.
100 ошибочных операций в неделю × лимит операции = прямые потери в сценарии
пример расчёта, допущения в тексте
С чего начать
Начинают со сплошной проверки и счёта ошибок агента
Первые две недели сотрудник проверяет каждое действие агента, как и раньше, а команда считает ошибки. Ворота и сроки ниже это порядок автора страницы: цифра на воротах помогает решить о переходе, но решает банк. Ворота первой ступени ждут серию из 300 действий подряд без ошибки. Если ждать, пока выпадет удачная серия, граница из раздела «Выборка» к ней прямо не относится: такому правилу нужен свой статистический план. После сбоя на любой ступени агента возвращают на ступень ниже, пока новый тест не закроет причину.
- недели 1–21сотрудник проверяет каждое действие, команда считает ошибки300 действий подряд без ошибки
- недели 3–62доказательство к каждому действию, выборка 300 в неделю4 недели выборки без ошибки
- квартал3лимиты в системе, сотрудник разбирает отклоненияквартал без сбоя, тесты закрыли отклонения
- дальше4агент работает сам, человек получает отчёт и выборку
сбой на любой ступени: агент на ступень ниже, пока тест не закроет причину
Ступени этой страницы отвечают на вопрос, как часто человек проверяет работу агента. Уровни от L0 до L4 на странице «Агенты, которые действуют» отвечают на другой: что агенту разрешено делать. Это разные решения, и подъём по одной шкале не поднимает агента по другой.
пример сроков, порядок автора страницы