Как протестировать ИИ-агента до встречи с клиентами

В кабинете агент отвечал безупречно: вежливо, по делу, с правильными ценами. В первый рабочий день он спросил у клиента то, что клиент уже написал двумя сообщениями выше. Разговор в переписке и разговор в тестовом чате — это два разных испытания, и второе агент почти всегда проходит легче.

Разница не в том, что тестовый чат «ненастоящий». Разница в том, что там нет потока: одно сообщение, один ответ, следующий вопрос вы формулируете сами, спокойно и по одному. Живой клиент присылает три сообщения подряд, меняет тему на середине фразы и не читает то, что агент уже сказал. Разрыв между «отвечает правильно» и «выдерживает поток» три уровня проверки ловят до того, как его заметит настоящий клиент.

Три уровня, и каждый ловит свою ошибку

Пропустить уровень и сразу перейти к следующему — соблазн, который экономит день и стоит недели правок постфактум. У каждого уровня свой предмет проверки.

Первый уровень дешёвый и быстрый, третий — единственный, где видна правда о конверсии. Пропускать первые два ради третьего означает узнать о пустых вызовах функций и неверных ценах на живом клиенте вместо собственного тестового прогона.

Тестовый чат: что там на самом деле нужно смотреть

Тестовый чат открывается в кабинете, его технический канал называется test_chat. По этому имени можно отдельно настроить поведение агента в инструкции, если для теста нужна особая логика. У голосового агента есть парный test_voice_call.

Проверка правильности ответа — только первый слой. Три вещи важнее:

1. Обращается ли агент к нужной функции, прежде чем отвечать. В продвинутом режиме журнала между репликами видны блоки с вызовами: название функции, переданные аргументы, статус выполнения. Если агент рассказал про статус заказа, не сходив в CRM, ошибка повторится на каждом втором обращении.
2. Что он делает при пустом результате функции. Запрос к таблице или CRM иногда возвращает пустоту: товара нет, слот занят, клиент не найден. Правильная реакция — сказать об этом прямо или предложить альтернативу; достраивать правдоподобный ответ вместо пустого результата агенту не следует. Это тот же механизм, который разбирает статья про то, почему ИИ-агент выдумывает: пустой результат функции — ровно та ситуация, где выдумка появляется чаще всего.
3. Держится ли агент в рамках. По иконке с информацией под ответом открываются результат функции, инструкция, история диалога и, если включено маскирование персональных данных, текст до и после шифрования. Так видно, ушли ли в модель настоящие имя и телефон клиента или их подменённая версия.

Обкатка на живых обращениях без риска

Тестовый чат честен настолько, насколько честны вопросы, которые вы туда написали. Реальные клиенты формулируют вопросы иначе, присылают их не по одному и путают темы в одном сообщении. Проверить агента на этом можно, не рискуя ни одним настоящим разговором.

У большинства каналов есть флаг «Ответы агента»: канал остаётся подключён, агент получает обращения и формирует ответы, но не отправляет их клиенту. На Wildberries тот же принцип реализован отдельной настройкой «Отправка ответов агента на ВБ»: при выключенном флаге агент получает вопросы и отзывы покупателей, генерирует ответы, но не публикует их на площадке, а в тестовом чате такие ответы показаны зачёркнутыми: видно, что он собирался сказать, без риска, что он это скажет.

В HelpDeskEddy, amoCRM, Omnidesk и GetCourse принцип решён иначе, режимом co-pilot: ответ агента уходит комментарием сотруднику внутри системы, клиент его не видит. Менеджер получает готовую подсказку и решает, отправлять её как есть или поправить.

Демо-звонок: то же самое для голосового агента

У голосового агента обкатка устроена немного иначе: разговор нельзя отправить «зачёркнутым», поэтому проверка происходит до подключения настоящей линии. Демо-звонок открывается по той же демо-ссылке и идёт прямо в браузере: вы говорите с агентом голосом, слышите его интонации и паузы вместо того, чтобы читать расшифровку постфактум.

Отдельно у голосового агента есть тестовый звонок от его же лица на указанный номер: удобно проверить, как агент говорит, когда звонит сам, ещё до того, как в дело пойдёт исходящий обзвон живой базы. Оба варианта не заменяют друг друга: демо-звонок показывает, как агент ведёт диалог, тестовый исходящий — как он говорит, если звонит первым.

Двенадцать реплик перед запуском

Список ниже стоит прогнать через тестовый чат любому агенту, независимо от ниши. Первая половина — обычные вопросы, вторая — то, что обычно проверять забывают.

Провокационные пункты (пятый, шестой и восьмой) стоит прогнать в первую очередь: их редко задают на демонстрации агента коллегам, хотя именно их задаёт живой клиент в первую неделю. Устройство барьеров, которые ловят такие ответы, разобрано в материале про выдумки ИИ-агента, а порядок шагов внутри разговора — в статье про сценарий чат-бота.

Измерьте, прежде чем выводить на весь поток

Измерьте долю диалогов из тестового прогона, где агент отклонился от задуманного сценария: точная формулировка полезнее расплывчатого «не понравилось». Если таких меньше одного из десяти, можно выводить агента на часть живого трафика; если больше — рано, сначала дорабатывают инструкцию и базу знаний, а обкатку откладывают.

Дальше отсчёт идёт по этапам того же внедрения, что описано в статье про запуск ИИ-агента: сначала часть потока, потом весь поток. Агент, который прошёл двенадцать пробных реплик и неделю обкатки без единой жалобы, всё равно способен споткнуться о вопрос, которого не было ни в одном тесте, — просто таких вопросов останется в разы меньше.

Частые вопросы