Как развивать ИИ-агента после запуска

Агента настраивали в марте, к запуску готовились две недели, потом отчитались перед руководством и больше в кабинет не заходили. Через полгода в переписке накопилась сотня вопросов, на которые бот отвечает мимо, а претензия к нему звучит одинаково у всех: он вроде работает, но как-то не очень.

Развитие агента — цикл с тремя повторяющимися шагами

Развитие ИИ-агента после запуска — это регулярный просмотр его диалогов, поиск мест, где он ответил мимо или промолчал, и обновление базы знаний и инструкции по результатам этого разбора.

Разовая настройка закрывает вопросы, которые вы предвидели заранее: прайс, график работы, стандартные возражения. Дальше начинают приходить вопросы, которых на этапе подготовки инструкции никто не писал, потому что их ещё никто не задавал. Цикл — это то, что ловит именно их: смотреть, находить провал, дописывать, мерить эффект, и через неделю заново. Три инструмента внутри платформы закрывают три разных куска этого цикла, и разница между ними в том, где именно они экономят вам время.

Раз в неделю открывайте аналитику и ищите перекосы

Первый шаг цикла — быстрый просмотр сводных цифр: доли автоматизации, средней стоимости диалога и распределения тегов по темам, без чтения всех диалогов подряд.

Смотреть эти три цифры стоит еженедельно, а не раз в квартал: провал, замеченный через три месяца, к моменту разбора уже забыт вместе с причиной. Растущая доля диалогов без тегов — сигнал, что размечать обращения перестали успевать, а ступенька в стоимости диалога — что в инструкцию попал текст, который добавляет модели работы на каждый ответ. Полный состав отчётов и то, какая цифра за что отвечает, собраны в аналитике диалогов; там же объяснено, почему высокая доля автоматизации сама по себе ничего не доказывает.

Дальше по каждой теме, где тегов особенно много, стоит открыть десяток конкретных переписок и прочитать их целиком, а не оценивать по проценту. Цифра говорит, что тема выросла, а сам диалог — почему клиент не получил нужный ответ с первого раза.

Анализатор переписок находит вопросы, которых нет в вашей базе

Читать переписку месяц за месяцем руками — работа на несколько часов, и результат зависит от того, кто именно её делает и что успел заметить. Анализатор переписок проходит по всему архиву диалогов за выбранный период сам и возвращает готовые пары «Вопрос — Ответ» с колонкой, где виден счётчик повторений каждого вопроса. Устройство и настройки анализатора переписок — отдельная тема, а здесь важна его роль именно в цикле: он превращает ощущение «клиенты о чём-то часто спрашивают» в список с числами.

Стоит запускать его регулярно, а не один раз при подключении: руководство платформы прямо связывает повторные прогоны с тем, что в переписке появляются новые формулировки и новые темы, которых при прошлом заходе ещё не было. Разбор одного диалога стоит около 0,50 ₽, поэтому квартальный прогон на паре тысяч диалогов обходится в сумму, заметно меньшую одной рабочей смены сотрудника, читающего ту же переписку глазами.

Самообучение растит базу знаний само, но вычитка остаётся вашей задачей

Пока анализатор разбирает архив по расписанию, есть ещё один источник новых записей — фоновый и постоянный. Самообучение забирает ответ сотрудника прямо из текущего диалога, как только человек закрыл переписку с клиентом, и оформляет его отдельной записью базы знаний без вашего участия. Как включить эту функцию и настроить порог схожести для поиска, показано в статье про самообучение базы знаний.

В такую запись попадает живой ответ целиком: вместе с сутью там оказывается и разовая скидка, сделанная конкретному человеку в порядке исключения, и неточная формулировка, брошенная по памяти посреди разговора. Агенту эта разница не видна, и в следующий раз он процитирует исключение как правило. Отсюда простое правило цикла — пятнадцать минут в неделю на чтение свежих записей самообучения, сразу после просмотра аналитики. Отдельно вычитывать каждую запись из ручной базы дольше не нужно: смысл именно в том, что база растёт сама, а времени требует только контроль.

Раз в квартал беритесь за инструкцию, а не только за базу

База знаний закрывает недостаток фактов, а часть жалоб на агента к фактам не имеет отношения: он путается в порядке шагов, перескакивает с записи на консультацию и обратно, отвечает по-разному на один и тот же вопрос в зависимости от того, где в диалоге он прозвучал. Это признак противоречия внутри самой инструкции, а не пробела в базе, и добавлением очередного файла такое не лечится.

Инструкция редактируется по одной строке за раз на протяжении месяцев: под одного клиента добавили правило, через две недели ещё одно, и где-то в середине уже живёт абзац, который прямо спорит с третьим сверху. Перечитывать файл целиком, чтобы найти такую пару строк, тяжело и долго, поэтому для этого шага цикла есть отдельная проверка — аудит инструкции, который разбирает промпт вместе с подключёнными функциями и файлами базы и сам находит противоречия и дубли. База знаний хранит факты, инструкция задаёт порядок действий, и путать эти два слоя — частая причина, почему агент отвечает по-разному на один и тот же вопрос.

Дорастите набор показателей до того, что вам действительно нужно

Дорастите свой отчёт до четырёх-пяти цифр, у каждой из которых заранее записан порог и решение: что именно вы сделаете, когда значение перейдёт эту границу. Отчёт на двадцать строк читают один раз и кладут в стопку, потому что от него не зависит ни одно действие; отчёт из четырёх цифр с записанным решением открывают каждую неделю. Какой именно набор показателей держать под рукой и почему доля автоматизации сама по себе ничего не решает, показывают показатели ИИ-агента.

Цикл развития не заканчивается никогда — как только вы дописали базу и подправили инструкцию, начинается следующая неделя новых вопросов от клиентов. Разница между агентом из марта и агентом, за которым следят, держится не на настройке в моменте: за вторым стоит человек с недельным и квартальным ритуалом. Начните с понедельника: откройте аналитику за прошлую неделю и посмотрите, вырос ли сектор диалогов без тегов.

Частые вопросы