Как считать окупаемость ИИ-автоматизации и стоимость ошибки

Окупаемость ИИ-автоматизации считают по одному процессу: экономия времени и дополнительный результат минус разработка, эксплуатация, ручная проверка и ошибки. Метрики фиксируются до пилота. Нельзя подменять результат числом ответов модели или процентом тестов. Для продажи важен оплаченный или корректно переданный заказ, для записи клиент должен появиться в CRM, для документа нужен принятый менеджером результат.

Базовая формула

Для выбранного периода, в одной валюте:

Стоимость рабочего часа берут из своих затрат на сотрудника. Освободившиеся часы считаются денежным эффектом только в той мере, в какой команда использует их для полезной работы или сокращает расходы.

Разовые расходы на разработку сравниваются с ежемесячным эффектом. Так получается ориентировочный срок окупаемости.

Измерить процесс до запуска

Возьмите несколько недель или репрезентативную выборку. Зафиксируйте:

• число входов;
• долю случаев, дошедших до результата;
• среднее ручное время;
• время ожидания клиента;
• число исправлений и повторов;
• долю исключений;
• прямую стоимость внешних сервисов.

Если процесс сезонный, короткого периода недостаточно. Отдельно отмечаются часы, когда заявка ждёт сотрудника, и активное рабочее время.

Выбрать бизнес-результат

Метрика должна соответствовать действию:

Скорость текста и число токенов являются техническими показателями. Они помогают искать узкое место, но не доказывают пользу бизнесу.

Посчитать ручное время честно

Агент редко убирает всю работу. Он переносит внимание на исключения. Поэтому считаем:

сэкономленное время =
  старое время процесса
  - время автоматического маршрута
  - время review
  - время исправлений

Если сотрудник раньше тратил время на поиск, а теперь проверяет сомнительные строки, это всё равно полезный эффект. Его надо измерить, а не объявлять заранее.

Стоимость ошибки

Ошибки имеют разную тяжесть. Неверный стиль ответа можно исправить сообщением. Неправильная цена, повторная запись или обещание несуществующего товара влияют на клиента и деньги.

Для каждого класса задаётся:

ожидаемый ущерб = вероятность × стоимость одного случая

Точную вероятность получают из журнала пилота. До этого используется диапазон и консервативный сценарий. Операции с высокой ожидаемой стоимостью остаются на подтверждении человека.

Не смешивать экономию и выручку

Сэкономленное время не равно полученной выручке. Освободившиеся часы дают эффект, если команда использовала их на другую работу или уменьшила очередь. Дополнительная выручка считается только по событиям, которые можно связать с завершённым действием.

В проекте DOLOROSA мы проверяли технические сценарии, но не измеряли рост продаж и экономию времени. Финансовый эффект нужно считать отдельно по заказам и затратам команды.

Панель пилота

Для одного процесса достаточно небольшого набора показателей:

• входы;
• автоматические завершения;
• ручные завершения;
• правильные эскалации;
• дубли и откаты;
• среднее время;
• стоимость API на результат;
• часы review;
• ошибки по классам тяжести.

Сырые клиентские данные в аналитическую панель не копируются без необходимости.

Когда продолжать разработку

Расширение имеет смысл, если агент стабильно закрывает выбранный маршрут, исключения наблюдаемы, а стоимость обработки ниже подтверждённого эффекта. Если основная потеря находится в другом месте, например в пустых карточках или медленном согласовании, сначала исправляется этот участок.

Geron Labs перед пилотом фиксирует исходную точку и критерии приёмки. После запуска можно обсуждать окупаемость на данных, а не на обещаниях.

Читайте также: Сколько стоит ИИ-агент и из чего складывается бюджет, Как внедрить ИИ в бизнес и проверить пилот до большой разработки.