Продвинутый режим: что агент делал на самом деле

На планёрке заспорили из-за одной записи на маникюр. Администратор была уверена, что агент действительно поставил клиента в расписание. Менеджер настаивал, что бот просто написал «записала вас» и на этом успокоился, а слот в календаре так и остался пустым. Спор длился минут десять, аргументы кончились быстро, а оба смотрели на один и тот же текст переписки и видели в нём разное. Открыть сам диалог и включить один переключатель оказалось быстрее, чем спорить дальше.

Где хранится история того, что делал агент

Журнал диалогов лежит в разделе «Чаты» — это первое место, куда идут, когда ответ агента вызывает вопросы. Слева на панели находите нужный диалог из списка активных или завершённых и открываете его: там подряд идут сообщения клиента и ответы агента.

Обычного журнала хватает, если вопрос в тоне ответа или в том, правильно ли агент понял запрос. Он не показывает, что происходило между репликами, а спор про запись на маникюр как раз про это.

Что показывает переключатель «Продвинутый режим»

Продвинутый режим включается тумблером в верхней части раздела «Чаты» и добавляет в журнал диалогов ровно то, чего не хватало в обычном виде: между репликами появляются блоки с вызовами функций, их аргументами и статусом выполнения.

Разбор одного такого блока выглядит так: название функции показывает, какую задачу решал агент, аргументы — с какими значениями он к ней обратился, а статус говорит, прошёл вызов успешно или нет. Спор с планёрки закрывается за один взгляд: если между сообщением клиента и фразой «записала вас» в диалоге нет блока вызова вообще, агент составил ответ сам, без обращения к календарю. Если блок есть и статус говорит об ошибке, запись не прошла на стороне внешней системы, а не потому, что агент решил соврать.

Когда вообще открывать эти инструменты

Смысла держать продвинутый режим включённым постоянно нет — обычно к нему возвращаются в четырёх ситуациях: ответ агента кажется неверным, функция не вызывается там, где логично было бы её ждать, функция вызвана, но результат оказался неожиданным, или нужно понять, на чём агент тратит лишние токены, чтобы оптимизировать ответы.

Во всех четырёх случаях порядок действий одинаковый: открыть конкретный диалог, включить переключатель и найти реплику, где начались вопросы.

Что добавляет экспорт диалога поверх продвинутого режима

Кнопка экспорта в углу открытого диалога сохраняет всю историю в виде веб-страницы .html, и в неё попадает больше, чем видно на экране. Объект dialogue несёт channel_variables (данные о канале и собеседнике), memory — полную переписку клиента, агента и подключившегося сотрудника, включая присланные файлы, фото и аудио, и timezone агента. Рядом идут объект user с данными клиента и объект bot с моделью, которая вела диалог.

Внизу страницы экспорта указано общее число потраченных токенов за диалог — по нему, зная действующий курс в 1000 токенов за 1 ₽, можно прикинуть цену конкретной переписки, а не только среднюю по счёту в конце месяца. Полный перечень полей есть в руководстве по отладке инструкций.

Агент выдумал или система вернула пустоту — как отличить

Это ровно тот вопрос, из-за которого разгорелась планёрка, и продвинутый режим отвечает на него по одному признаку — есть блок вызова функции или нет.

Блока нет: агент придумал ответ сам, ни к какой системе не обращаясь. Обычно это значит, что в инструкции не описано условие, при котором нужно вызывать функцию, или формулировка настолько размыта, что модель посчитала обращение необязательным.

Блок есть, а результат внутри — пустой ответ, ошибка или отказ внешней системы. Тогда агент вызвал ровно то, что нужно, проблема лежит на стороне CRM, календаря, таблицы или интеграции, и разбираться нужно уже там, а не в тексте промпта.

Разница на первый взгляд кажется мелкой, а на деле определяет, что чинить: инструкцию агента в одном случае или интеграцию с внешней системой в другом. Когда причина в самом тексте промпта, а не в вызове функции, работает та же логика проверки, что и в аудите инструкции.

Выгрузите спорный диалог прежде, чем спорить дальше

Выгрузите тот самый диалог из планёрки в .html и откройте два поля: memory — чтобы увидеть переписку целиком, включая моменты, потерянные в узком окне журнала, и статус ближайшего к спору вызова функции, если он вообще есть. Через пару таких проверок расхождение между «агент сказал» и «агент сделал» перестаёт быть предметом спора и превращается в обычный пункт списка того, что нужно поправить в промпте или проверить у интеграции.

Если в диалоге вообще не было ни одного блока вызова там, где он ожидался, следующий шаг — прогнать похожий сценарий в тестовом диалоге и посмотреть, повторяется ли пропуск на чистом прогоне без истории конкретного клиента.

Частые вопросы