Аналитика диалогов: по каким цифрам судить об агенте

Вопрос «а он вообще работает» задают через месяц после запуска, и отвечают на него обычно ощущениями: вроде стало полегче. Ощущения ненадёжны — в первый месяц половина команды на всякий случай проверяет за агентом каждый диалог и тем самым портит себе же картину.

Цифр, по которым видно правду, немного, и они лежат в одном разделе.

Четыре показателя, с которых стоит начать

Остальное — производные. Объём сообщений говорит о нагрузке, но не о качестве; число диалогов растёт вместе с рекламой и ничего не сообщает об агенте.

Доля автоматизации: цифра, которую легко прочитать неверно

Диаграмма показывает соотношение сообщений, обработанных агентом и обработанных вручную.

Низкая доля в первый месяц обычно означает не провал агента, а привычку сотрудников вмешиваться. Человек видит новый диалог, на всякий случай отвечает сам — и сообщение уходит в ручную половину. Поэтому смотреть на этот показатель имеет смысл в динамике по неделям, а не в абсолютном значении на старте.

Обратная ситуация тоже бывает: доля высокая, потому что агенту никто не передаёт сложное. Проверяется тегами — если в диалогах нет ни одной пометки про эскалацию, значит, её просто не настроили.

Средняя стоимость диалога

Отдельная диаграмма во вкладке «Общее», с детализацией по дням при наведении.

Это единственный способ увидеть последствия правок. Добавили описание услуг в список, включили передачу истории за месяц, сменили модель — всё это отражается здесь через день-два. Рабочая привычка: формировать статистику раз в неделю и смотреть на график после каждого крупного изменения инструкции. Стоимость диалога на платформе составляет около 15 ₽, и заметное отклонение вверх почти всегда объясняется одной конкретной правкой.

Теги: единственный способ узнать, о чём пишут клиенты

Диаграмма распределения тегов показывает темы диалогов, и отдельным цветом — диалоги без тегов.

Большой синий сектор «без тегов» на старте — норма, но именно он и есть главная задача первого месяца: пока теги не расставлены, аналитика отвечает только на вопрос «сколько», не отвечая на «о чём». Как ставятся теги и по каким условиям, описано в материале о квалификации лидов.

Пользы от этой диаграммы обычно больше, чем от всех остальных: она показывает не работу агента, а спрос. Если четверть обращений за месяц — про доставку в конкретный регион, это ответ сразу на два вопроса: что дописать в базу знаний и что поправить на сайте.

Звонки: причины завершения как инструмент отладки

Для голосовых агентов есть отдельная вкладка с фиксированным периодом — последние 30 дней, не включая сегодня. Формировать ничего не нужно, данные показываются сразу.

Самый полезный блок — доли причин завершения звонка.

Одна поправка к арифметике: «Всего звонков» включает тестовые. При обкатке голосового агента они заметно искажают картину, поэтому реальную нагрузку считают за их вычетом.

Что выгружается в Excel

Отчёты создаются в разделе «История», на вкладке «Отчёты», и приходят файлом xlsx в бот оповещений. Типов два.

dialogues — строка на диалог: дата, агент, число сообщений клиента, агента и менеджера, количество вызовов функций, стоимость, теги. Это материал для общей картины: например, чтобы увидеть, что диалоги с вызовом функций стоят вдвое дороже остальных.

dialogue_logs — детализация по репликам: запрос клиента, ответ агента, вызванные функции, использованные теги, подробности ошибок. Сюда идут, когда нужно понять конкретный сбой, а не тенденцию.

С чего начать

Сформируйте статистику за прошлый месяц и посмотрите на сектор «Диалоги без тегов».

Если он занимает больше половины, начинать надо не с метрик, а с разметки: три-четыре тега по причинам обращения, расставленные условиями. Через месяц эта же диаграмма покажет вам структуру спроса, и разговор об эффективности агента станет предметным — с ответом на вопрос, какие именно темы он закрывает, а какие по-прежнему уходят человеку. Что делать с этими диалогами дальше, объясняет обучение ИИ-агента.

Частые вопросы