Почему ИИ-агент выдумывает и как это прекратить

Самая дорогая фраза в переписке с агентом звучит спокойно: «Да, у нас это стоит четырнадцать тысяч». Клиент её запомнил, скриншот сохранил, приехал платить. Цены такой нет и никогда не было.

Разбираться, «кто это придумал», бессмысленно. Полезнее понять, почему так вышло, — тогда становится понятно, чем это чинится.

Откуда берётся выдумка

Языковая модель устроена как машина правдоподобного продолжения. Она не хранит ваши цены и не проверяет себя по справочнику — она достраивает текст так, чтобы он выглядел естественно.

Когда нужная информация лежит в базе знаний и агент её нашёл, правдоподобное продолжение совпадает с правдой. Когда не нашёл, правдоподобным продолжением оказывается похожая цифра: из соседней услуги, из общего представления о рынке, из формулировки вопроса клиента.

Отсюда важный вывод: выдумка — это не сбой, который можно «починить» уговорами в промпте. Фраза «не выдумывай» в инструкции снижает частоту, но не устраняет причину. Причина устраняется тем, что ответ проверяет кто-то, кроме самой модели.

Три механизма контроля поведения

Все три живут в разделе контроля поведения в верхней части инструкции агента и включаются независимо друг от друга.

Контроль фактов: с чего начинать

Это самый прямой ответ на вопрос из заголовка. Флаг «Отвечать на вопросы только по базе знаний» включает проверку: опирается ли утверждение агента на то, что он реально нашёл.

Режимов два:

• Обычный — проверяет ключевые факты. Подходит для большинства сценариев.
• Строгий — срабатывает при любых утверждениях, под которые не было обращения в базу знаний. Жёстче, но и молчаливее.

Рядом есть поле «Если ответа нет в базе знаний»: туда пишется фраза, которую клиент получит вместо выдумки. Формулировать её стоит так, чтобы разговор не заканчивался тупиком, — и дополнительно включить остановку диалога или вызов менеджера.

Отдельно полезна кнопка «Прогнать»: она тестирует контроль фактов на ваших последних диалогах. То есть вы видите, что механизм заблокировал бы в реальной переписке, не рискуя ничем.

LLM-барьеры: проверка по вашему условию

Барьер — это дополнительный этап между «модель сформировала ответ» и «клиент его получил». Условие задаётся логической инструкцией в формате псевдокода: случаи, когда проверка должна сработать, возвращают true, остальные — false.

Дальше выбирается, что делать при срабатывании:

Два готовых барьера рекомендуется включить почти всем. «Числа только из источников» отсекает ненадёжные ответы с числами: цены, телефоны, реквизиты. Если точной информации в базе нет, проверка не даст числу уйти клиенту. «Контроль скидки» исключает упоминания скидок, которых агент не брал из базы, — полезно ровно в тот момент, когда клиент начинает выпрашивать особые условия, а агент оказывается покладистым.

Контроль действий: отдельный класс ошибок

Выдуманный факт заметен сразу. Выдуманное действие — нет, и поэтому оно опаснее.

Механизм срабатывает, когда агент подтверждает выполнение, не вызвав соответствующую функцию: сообщает о созданной записи, не обратившись к системе записи, или о принятом заказе, не создав его в CRM. Включается флагом «Реагировать на срабатывания и ошибки», рядом задаётся фраза для клиента и, при необходимости, остановка диалога или вызов менеджера.

Такие ошибки обнаруживаются обычно на ресепшене, а до логов дело не доходит: человек приходит в назначенное время, а его никто не ждёт. Один такой случай стоит дороже, чем месяц работы агента.

Что делать до включения проверок

Контроль поведения снимает последствия. Причину чаще всего снимает база знаний.

Проверьте три вещи, прежде чем крутить барьеры:

1. Есть ли в базе то, что спрашивают. Половина выдумок — это вопросы, ответа на которые в ваших материалах просто нет.
2. Находится ли оно. Если документ есть, но агент его не находит, дело в настройках поиска: параметр Top N задаёт лимит совпадений, порог схожести — нижнюю границу сходства. Больше Top N и ниже порог — выше шанс найти, но ниже точность.
3. Сказано ли агенту искать. В инструкции должно быть явное правило обращаться к базе знаний при вопросах клиента, иначе модель отвечает из головы, даже когда в базе всё есть.

Как эти три слоя устроены целиком — в разборе базы знаний для ИИ-агента.

С чего начать

Включите контроль фактов в обычном режиме и нажмите «Прогнать» на своих последних диалогах.

Через минуту вы увидите список мест, где агент говорил без опоры на ваши материалы. Обычно этот список короче, чем страшно, и конкретнее, чем ожидаешь: три-четыре повторяющиеся темы, которых не хватает в базе. Дописать их — это работа на вечер, а барьеры после этого работают как страховка, а затыкать ими дыры уже не придётся.

Частые вопросы