Как измерить эффект от внедрения ИИ
MIT фиксирует, что 95% компаний не увидели эффекта в деньгах. Часть из них его получила, но не смогла показать — потому что не замерила «до». Разберём, как этого избежать.
Признаки хорошей метрики
- Она уже собирается или её можно начать собирать за неделю
- Агент влияет на неё напрямую, без длинной цепочки причин
- Значение «до» известно и не оспаривается
- Способ замера описан заранее и не меняется по ходу
Плохие метрики и почему
| Метрика | Почему плохая |
|---|---|
| Рост конверсии в сделку | Зависит от сезона, цены, конкурентов и состава команды |
| Повышение качества обслуживания | Не число, невозможно проверить |
| Экономия рабочего времени в целом | Освобождённое время не равно деньгам, если людей не стало меньше |
| Удовлетворённость сотрудников | Меняется от многого, к агенту привязать нельзя |
Про первую строку отдельно: рост конверсии агенту приписывают чаще всего, и на защите результата это разваливается первым.
Хорошие метрики по типам агентов
| Тип агента | Метрика |
|---|---|
| Первая линия поддержки | Доля обращений, закрытых без оператора |
| Обработка документов | Доля документов, проведённых без ручной правки |
| Квалификация лидов | Время от заявки до первого касания |
| Ответы по базе знаний | Доля ответов со ссылкой на верный источник |
| Контроль и мониторинг | Число отклонений, замеченных до последствий |
Как замерить «до»
Если показатель уже собирается — возьмите значение за последний стабильный период, а не за месяц с аномалиями. Если не собирается — начните собирать до старта разработки. Месяц измерений даст точку отсчёта, без которой любой результат будет предметом спора.
Считать надо чистый эффект
Окупаемость = вложения ÷ (экономия в месяц − сопровождение)
Вычитание сопровождения принципиально. Экономия 60 000 ₽ при сопровождении 40 000 ₽ — это 20 000 ₽ в месяц, а не 60 000, и срок возврата отличается втрое. Калькуляторы, которые показывают только выгоду, вводят в заблуждение — наш считает с вычетом.
И одна метрика, которую надо смотреть всегда
Качество для конечного пользователя: оценка после диалога, доля повторных обращений, число жалоб. Экономия, купленная ценой раздражённых клиентов, — не экономия. Даже если основная метрика другая, эту стоит держать под наблюдением.
Частые вопросы
Какую метрику взять, если ничего не измеряется?
Начните собирать одну до старта разработки. Месяц измерений даст точку отсчёта. Без неё результат будет предметом спора, а не факта.
Можно ли считать эффектом освобождённое время?
Только если оно превращается в деньги: не наняли нового человека, взяли больше объёма теми же силами. Просто «стало свободнее» в отчёт не поставишь.
Сколько мерить после запуска?
Минимум месяц стабильной работы, лучше два. Первые недели уходят на донастройку, и цифры за них нерепрезентативны.
Почему нельзя брать конверсию?
На неё влияет слишком многое помимо агента. Если конверсия вырастет из-за сезона, вы припишете это агенту, а если упадёт из-за цены — обвините его. Оба вывода неверны.
Подберём метрику для вашего процесса
На аудите находим показатель, который уже собирается, и фиксируем его в договоре.
Оставить заявку