Какие показатели спрашивать с ИИ-агента

Перед владельцем лежит отчёт на двадцать цифр. Сообщений столько-то, диалогов столько-то, токены, минуты звонков, доля автоматизации, средняя длительность. Он честно прочитывает лист сверху донизу, кладёт его в стопку и после этого не меняет ничего, потому что ни одна строка не подсказывает, что именно поправить завтра.

Отчёт при этом верный. Проблема в наборе цифр, который собирали по принципу «пусть будет».

Сколько показателей держать и как отличить рабочий от красивого

Рабочих показателей у агента четыре-пять, и признак рабочего всего один.

Показатель работы ИИ-агента — это цифра, у которой заранее записан порог и решение, принимаемое при переходе через него. Если значение выросло вдвое, а действия за этим не следует ни при каком раскладе, строка в отчёте лишняя. Проверка занимает минуту: возьмите свой текущий отчёт и напротив каждой цифры допишите фразу «если она станет хуже, я сделаю…». Половина строк останется без продолжения.

Шесть строк для первого месяца много. Берите первые четыре, остальные включайте, когда разметка уже работает.

Какие цифры ничего не решают

Две величины выглядят как оценка агента и ею не являются: доля автоматизации сама по себе и число сообщений.

Долю автоматизации легко поднять, ничего не улучшив. Достаточно убрать из сценария передачу оператору — агент перестанет звать человека, круговая диаграмма покажет девяносто с лишним процентов, и отчёт будет выглядеть прекрасно. Клиенты со сложными вопросами при этом уйдут молча, и в цифрах это не отразится вообще. Поэтому доля обработанного живёт в паре с долей диалогов, дошедших до цели: сама по себе она говорит про нагрузку на операторов и молчит про результат.

Число сообщений растёт по причинам, к качеству работы отношения не имеющим: включилась реклама, агент стал отвечать подробнее, клиент трижды переспросил одно и то же. Счётчик реагирует на всё это одинаково. Считать по нему нагрузку можно, судить о работе — нет.

Третья ловушка тише двух первых. Показатель, который смотрят раз в квартал, работает как украшение отчёта: к моменту, когда провал заметили, причина уже забылась. Либо цифра попадается на глаза еженедельно, либо её в наборе нет.

Пара показателей, которая заменяет десять

Доля обработанного агентом и доля диалогов с тегом целевого действия читаются вместе и дают почти всю картину.

Первая цифра лежит в блоке «Эффективность Савви» на вкладке «Общее»: круговая диаграмма делит сообщения на «Обработано Савви» и «Не обработано Савви». Вторая собирается из «Статистики тегов», где виден размер каждого тега и отдельным сектором — «Диалоги без тегов». Целевое действие размечается стандартной функцией простановки тега; при автоматической простановке по таймеру минимальный порог составляет 24 часа, так что вечерний диалог попадёт в статистику только на следующий день. Как формулировать условия для тегов, объясняет разметка целевого действия.

Дальше арифметика простая. Обе доли растут — агент забирает работу и доводит её до конца. Обработанного много, целевых действий мало — агент вежливо беседует и никуда не ведёт, правка идёт в сценарий. Обработанного мало, а целевые действия в норме — операторы перехватывают диалоги по привычке, и это вопрос к регламенту дежурства.

Сколько стоит держать эти показатели под рукой

Отдельной платы за аналитику нет: все цифры собираются из тех же диалогов, за которые вы уже платите.

Расход считается по токенам, тысяча токенов стоит 1 ₽, и в среднем один диалог на платформе Савви обходится около 15 ₽. Ориентир для сравнения: менеджер с зарплатой порядка 40 000 ₽ в месяц обрабатывает примерно 450 обращений, то есть около 89 ₽ за обращение — оценка по средним ставкам, не замер. Разница между 89 ₽ и 15 ₽ и есть та величина, которую показывает средняя стоимость диалога, когда за ней следят неделя к неделе. Полный расчёт с годовыми суммами держит окупаемость ИИ-агента.

Две проверки качества, которых нет в сводных долях

Доли отвечают на вопрос «сколько». О том, хорошо ли получилось, говорят оценки клиентов и поле с подробностями ошибок.

Оценки приходят от самих клиентов: агент отправляет ссылку, человек открывает её и ставит лайк с дизлайком или звёзды от 1 до 5. В таблице видны дата, оценка, комментарий до 2048 символов и ссылка на сам диалог — последняя колонка и есть главная, потому что усреднённый балл без текста переписки ничего не объясняет. Тип оценки задаётся в каждом действии отдельно, и смешивать звёзды с лайками внутри одного агента не стоит: усреднить два формата не получится. Что происходит после дизлайка, описывает оценка диалога клиентом.

Вторая проверка техническая. Для набора показателей из выгрузки dialogue_logs берётся одна величина — доля реплик с непустым error_details: она отделяет поломку интеграции от неудачной формулировки в инструкции, и по ней сразу видно, когда правка инструкции ничего не даст. Что ещё лежит в отчётах платформы и как читать их целиком, показывает аналитика диалогов.

Что записать до того, как включите канал

Заложите набор показателей в тот же документ, где описан сценарий агента, и сделайте это до запуска.

Четыре строки, у каждой порог и решение. Выглядит это буквально так: «доля обработанного ниже 60% — разбираем десять диалогов с оператором», «целевых действий меньше 15% — переписываем шаг с предложением записи». Порог на старте берётся с потолка и уточняется через месяц по факту, важна сама привычка называть его заранее.

Через месяц на руках окажется первая точка отсчёта: сколько обращений агент довёл до цели и во что обошлось каждое. С этого места пороги перестают быть выдумкой и опираются на ваши собственные данные.

Частые вопросы