Как работают ИИ-агенты: что происходит за одно сообщение

Ответ приходит через две секунды после сообщения клиента, ровно с той скоростью, к которой все уже привыкли. Единственный вопрос, который в этот момент интересен владельцу бизнеса: агент вообще куда-то смотрел, когда отвечал, или сформулировал что-то похожее на правду и отправил.

Ответ на этот вопрос есть, и он не требует веры на слово. Внутри двух секунд происходит конкретная последовательность шагов, и каждый шаг можно посмотреть на собственных диалогах.

Что происходит с момента, когда клиент нажал отправить

Сообщение попадает в подключённый канал — мессенджер, виджет на сайте, CRM или маркетплейс — и с этой точки начинается путь, у которого пять остановок: контекст собирается, модель решает про функцию, функция при необходимости вызывается, результат возвращается в контекст, и уже из всего этого рождается ответ, который уходит обратно в тот же канал. Из чего вообще состоит агент и как он устроен целиком — в статье что такое ИИ-агент; здесь разбираем один ответ по шагам, а не устройство агента заново.

Каждая остановка добавляет к ответу то, чего не было в первоначальном сообщении. Клиент видит только последний шаг — готовую фразу. Всё, что было до неё, определяет, окажется эта фраза точной или похожей на правду.

Из чего собирается контекст перед ответом

Прежде чем модель напишет хоть слово, платформа складывает вместе четыре вещи: системную инструкцию агента, историю текущего диалога в объёме, заданном в настройках, переменные (системные, канальные и пользовательские) и фрагменты базы знаний, которые нашлись по смыслу вопроса.

Инструкция здесь главнее остального: при противоречии между ней и базой знаний агент идёт за инструкцией. История диалога — это разговор именно в этом канале с этим человеком, а не вся его переписка с компанией: то, что клиент писал вчера в Telegram, не появится в контексте звонка голосовому агенту, если каналы специально не связаны. Переменные подставляются на лету (имя клиента, номер заказа, текущая дата), и от них зависит, звучит ли ответ как обращение к конкретному человеку или как рассылка.

Как агент решает, вызывать ли функцию

У каждой функции есть имя и описание, и по ним модель понимает, когда к ней стоит обратиться: посчитать остаток по таблице, найти документ в базе знаний, создать сделку в CRM, отправить вебхук. Это решение принимается заново на каждом сообщении, а не один раз в начале диалога.

Формулировка описания функции здесь важнее, чем кажется. Расплывчатое «работает с заказами» модель может пропустить там, где точное «ищет заказ по номеру телефона в CRM» сработает. Когда вызов обязателен независимо от формулировки вопроса — в инструкции прописывают явную конструкцию вроде call function …, которая принуждает к обращению.

На вызовы функций в одном диалоге действует общий предел — не больше десяти. Ограничение не на сообщение, а на весь диалог целиком, и при превышении он останавливается. До этой границы редко доходят по делу: обычно это симптом того, что функция вызывается вхолостую, без результата, который сдвигает разговор с места.

Как устроен смысловой поиск по базе знаний и таблицам

Здесь важно то же самое различие, что определяет разницу между кнопочным ботом и агентом: поиск идёт по смыслу вопроса, а не по совпадению слов.

Для базы знаний — документов и быстрых ответов — задаются два параметра: Top N, сколько фрагментов вернуть, и порог схожести, насколько близко фрагмент должен подойти к вопросу по смыслу, чтобы попасть в контекст. Для таблиц действует та же логика через VECTOR_SEARCH, где точность поиска — число от 0 до 1.

Соотношение этих параметров задаёт баланс, который приходится настраивать под свой контент. Полный список этих настроек с пояснениями — в руководстве Савви.

То же правило действует для таблиц с ценами и остатками: агент не ищет точную строку по ключевому слову, он ищет ближайшую по значению, и порог решает, насколько близкую считать подходящей.

Почему длинный контекст стоит денег

Оплата идёт по токенам (тысяча токенов стоит 1 ₽), и в счёт за один ответ входит весь текст, который прошёл через модель за это сообщение: само сообщение клиента, инструкция, история диалога, описания функций, найденные фрагменты базы знаний и сгенерированный ответ.

Отсюда следует практическая вещь, которую легко упустить: инструкция тарифицируется при каждом ответе заново, а не один раз при создании агента. Длинная инструкция с повторами и лишними пояснениями дорожает умноженной на число диалогов в месяц. То же с историей: чем больше сообщений передаётся в контекст, тем больше токенов уходит на каждый следующий ответ, и за долгий диалог сумма растёт заметно быстрее, чем в начале переписки.

Здесь же прячется вторая причина, по которой агент вдруг начинает путаться в длинных инструкциях: чем больше в контексте текста, не относящегося напрямую к текущему вопросу, тем больше у модели материала, из которого можно выбрать что-то лишнее. Короткая точная инструкция дешевле и устойчивее к сложным диалогам одновременно.

Что видно в окне с информацией о формировании ответа

У каждого сообщения агента в менеджере чатов есть иконка с информацией о том, как оно сложилось. В открывшемся окне видно, какая инструкция использовалась и какая история диалога была учтена при генерации именно этого ответа — не текущая версия инструкции в настройках, а та, что реально ушла в модель на этом сообщении.

Вопрос «он вообще куда-то смотрел или просто придумал» здесь перестаёт быть риторическим. Не нужно гадать, посмотрел агент в базу знаний: окно показывает состав контекста напрямую, и видно, откуда взялась конкретная фраза.

Сверьте свою переписку за неделю

Сверьте пять последних диалогов, где агент отвечал быстро и уверенно, через окно формирования ответа — не по памяти, а по факту того, что действительно ушло в модель. В большинстве случаев там обнаружится ровно то, что должно было там быть: инструкция, история и найденный фрагмент базы знаний.

Там, где обнаружится не это, разбор укажет прямо на причину: пробел в базе знаний, который агент дозаполнил похожей фразой, или инструкцию, не требующую опоры на найденный текст. Оба случая чинятся быстрее, чем занимает их найти, а окно с информацией о формировании ответа — единственный способ найти их за пять минут, а не за час чтения переписки подряд.

Частые вопросы