Обучение ИИ-агента: на чём он на самом деле учится
Дообучается ли модель на ваших данных, чем инструкция отличается от базы знаний и как работает самообучение — фоновое пополнение базы по ответам сотрудников.
ИИ-агент не переобучает языковую модель на ваших диалогах. Его поведение задаётся системной инструкцией, а знания — базой знаний, и «обучение» на практике означает работу с этими двумя источниками. Отдельно есть самообучение: база пополняется в фоне на основе ответов сотрудников, то есть агент перенимает то, что уже ответил живой человек.
«Сколько времени нужно, чтобы обучить агента?» — вопрос, который задают первым. Ответ на него зависит от того, что подразумевается под обучением, и почти всегда расходится с ожиданием.
Ожидание такое: агент читает вашу переписку, что-то в себе меняет и становится умнее. Реальность проще и, если разобраться, удобнее: меняются материалы, по которым модель работает, а сама модель остаётся прежней.
Модель не переобучается, меняются данные
Обучение ИИ-агента — это наполнение и уточнение двух источников: системной инструкции, которая задаёт поведение, и базы знаний, откуда агент берёт факты.
Веса языковой модели при этом остаются прежними. И это скорее плюс: изменение видно сразу, откатывается одной правкой и не требует ждать, пока «обучение закончится». Дописали документ в базу — агент отвечает по-новому в следующем же диалоге.
| Что меняете | Что меняется в поведении | Когда видно результат |
|---|---|---|
| Системную инструкцию | как агент ведёт разговор, что спрашивает, чем заканчивает | сразу |
| Базу знаний | что агент знает о вашей компании и продукте | сразу |
| Модель | манера, аккуратность, цена диалога | после проверки типовых диалогов |
| Настройки поиска по базе | находит ли агент нужное и насколько точно | сразу, но подбирается опытным путём |
Важный порядок приоритета: инструкция главнее базы знаний. Если в файле базы написано одно, а в инструкции другое, агент оказывается между двумя указаниями — и ведёт себя по-разному от диалога к диалогу.
Три формы, в которых агент получает знания
Формат хранения диктуется типом информации.
Разбор каждого формата с примерами — в статье про базу знаний для ИИ-агента. Здесь важнее другое: ошибка выбора формата выглядит как «агент тупит», хотя на самом деле это прайс, положенный в документ вместо таблицы.
Проверьте на своих диалогах.Регистрация без карты, 500 ₽ на тест по промокоду BLOG500
Собрать агентаСамообучение: база пополняется ответами сотрудников
Отдельный механизм, который снимает самую нудную часть работы. Идея простая: лучший источник знаний о вашей компании — это ответы, которые ваши же сотрудники уже дали клиентам.
Самообучение обновляет базу знаний в фоне на основе этих ответов. Клиент спросил то, чего в базе нет, агент передал диалог человеку, человек ответил — и ответ пополняет базу. В следующий раз агент закрывает этот вопрос сам.
Как это устроено по шагам:
- База знаний создаётся в отдельном разделе — она общая для аккаунта и подключается к любому агенту. К одному агенту можно подключить несколько баз.
- Заполняется вручную или загрузкой таблицы. Второй способ удобнее для стартового массива, дальше добавляется точечно.
- Подключается в агенте на вкладке «База знаний» → «Самообучение» → «Подключить базу знаний». Подключённая помечается как используемая.
- Включается автоматический запуск — в настройках активируется системное действие, после чего пополнение идёт без вашего участия.
Документы, написанные заранее, отвечают на вопросы, которые вы считаете важными. Ответы сотрудников отвечают на вопросы, которые клиенты задают на самом деле. Расхождение между этими двумя списками обычно обнаруживается на второй неделе работы агента.
Настройки, которые решают, найдёт агент ответ или нет
У каждой базы знаний есть расширенные настройки, и три из них влияют на результат сильнее, чем содержимое.
Описание функции — когда именно агент должен обращаться к этой базе. Например: «используется при вопросах технического характера». Без такого описания агент дёргает базу в каждом диалоге, тратит токены и подмешивает в ответ не относящиеся к делу фрагменты.
Описание запроса — что и в каком виде передавать в поиск. Скажем, «передавай в запрос только суть вопроса, не более трёх слов». Иначе в поиск уходит вся реплика клиента целиком, вместе с приветствием и лирикой, и точность падает.
Top N и порог схожести — сколько совпадений вернуть и с какой минимальной близостью. Больше Top N и ниже порог — выше вероятность найти ответ и ниже его точность. Меньше Top N и выше порог — наоборот. Универсального значения нет, оно подбирается под характер вашей информации.
Отдельно задаётся, где искать совпадение: в тексте вопроса или в тексте ответа. Для базы из коротких формулировок это может изменить результат сильнее, чем перенастройка порога.
Сколько времени занимает «обучение»
Честный ответ: первая работающая версия собирается за вечер, а доведение занимает первый месяц работы с живыми диалогами.
Причём первый месяц — это не «пока агент учится», а «пока вы узнаёте, о чём вас спрашивают». Разница существенная: работа заканчивается не тогда, когда модель чему-то научилась, а тогда, когда список повторяющихся вопросов перестал пополняться.
С чего начать
Включите самообучение и через неделю посмотрите, что оно добавило в базу.
Этот список ценнее любого аудита: в нём ровно те вопросы, на которые ваш агент не смог ответить, а живой сотрудник смог. Дальше остаётся отредактировать формулировки — обычно человек в переписке отвечает торопливо, и ответ, годный для одного клиента, для базы знаний нужно дописать.
Частые вопросы
Дообучается ли модель на данных компании
Веса самой языковой модели на ваших диалогах не переобучаются. Поведение агента задаётся системной инструкцией и базой знаний, а «обучение» на практике означает пополнение и уточнение этих данных.
Что такое самообучение агента
Механизм фонового обновления базы знаний на основе ответов сотрудников. Когда человек отвечает на вопрос, который агент закрыть не смог, ответ попадает в базу — и в следующий раз агент отвечает сам. Для автоматической работы включается запуск системного действия в настройках.
Что приоритетнее — инструкция или база знаний
Инструкция. Она задаёт поведение, база знаний — факты. Если указания в файле базы знаний противоречат инструкции, это источник непредсказуемых ответов, и противоречие нужно устранять.
Сколько баз знаний можно подключить к агенту
Больше одной. Базы создаются в общем разделе и подключаются к любому агенту, а отключение базы от агента не удаляет её из аккаунта.
Что такое Top N и порог схожести
Настройки точности поиска по базе. Top N ограничивает число возвращаемых совпадений, порог схожести задаёт нижнюю границу сходства. Больше Top N и ниже порог — выше шанс найти ответ, но ниже его точность.
Как сделать, чтобы агент реже дёргал базу знаний
Заполнить описание функции у базы: например, «используется при вопросах технического характера». Тогда при общих вопросах агент к ней не обратится и не потратит токены на лишний поиск.
Читайте дальше
Все статьи темы →
База знаний для ИИ-агента: как её собрать
Из чего состоит база знаний ИИ-агента: быстрые ответы, документы и таблицы. Что куда класть, лимиты файлов, настройки поиска и частые ошибки.
Как писать промпты: от запроса к рабочей инструкции
Чем разовый промпт отличается от системного, как устроена структура инструкции для ИИ-агента, почему правила конфликтуют между собой и как понять, что промпт стал слишком длинным.
Почему ИИ-агент выдумывает и как это прекратить
Откуда берутся выдуманные цены, сроки и подтверждения записи, и три механизма контроля поведения: LLM-барьеры, контроль фактов и контроль действий. Что включать в первую очередь.
