· Clean Logic
Чат-бот с ИИ для бизнеса: какие задачи ему отдать
Где чат-бот на языковой модели экономит время сотрудников, где он ошибается и как проверить качество ответов до подключения к клиентам.
Языковая модель пишет связный текст на любую тему, и из-за этого легко переоценить её возможности. Бот, которому поручили всё сразу, отвечает уверенно и временами неверно. Бот с узкой задачей и доступом к вашим документам снимает с сотрудников часть рутины.
Разберём, по каким признакам выбрать задачу и как проверить результат до запуска.
Задачи, с которыми бот справляется
Хорошая задача для бота повторяется много раз в день, а правильный ответ на неё уже записан в ваших документах.
Ответы на типовые вопросы. Условия доставки, график работы, порядок возврата, статус заказа. Сотрудник поддержки отвечает на них десятки раз, заглядывая в одну и ту же инструкцию.
Первичный разбор обращений. Бот определяет тему, уточняет недостающие данные и передаёт сотруднику заявку с заполненными полями.
Поиск по внутренней базе знаний. Новый менеджер спрашивает у бота, как оформить возврат, и получает ответ со ссылкой на регламент.
Разбор входящих документов. Модель извлекает из письма или счёта реквизиты, суммы и позиции и переносит их в CRM. Человек проверяет результат.
Задачи, которые боту лучше не отдавать
Решения с высокой ценой ошибки. Юридические заключения, медицинские рекомендации, согласование скидок. Здесь модель может готовить черновик, а решение принимает человек.
Вопросы без ответа в документах. Если ответ знает только руководитель отдела, бот его не узнает. Сначала запишите знание, потом автоматизируйте.
Конфликтные диалоги. Рассерженному клиенту нужен человек с полномочиями. Бот должен распознать такую ситуацию и сразу передать разговор.
Как устроен бот, который отвечает по вашим данным
Модель из коробки ничего не знает о вашей компании. Чтобы она отвечала по делу, ей передают нужные фрагменты документов вместе с вопросом. Этот подход называют RAG.
Работает он в три шага:
- Ваши документы разбивают на фрагменты и складывают в поисковый индекс.
- На вопрос клиента система находит несколько подходящих фрагментов.
- Модель получает вопрос и фрагменты и составляет ответ по ним.
Отсюда следует важный вывод: качество бота упирается в качество документов. Если в базе знаний лежат две инструкции с разными сроками возврата, бот назовёт любой из них.
Откуда берутся выдуманные ответы
Модель обучена продолжать текст правдоподобно. Когда нужного фрагмента в документах нет, она может составить ответ из общих знаний, и он будет звучать убедительно.
Риск снижают несколькими мерами:
- бот отвечает только по найденным фрагментам и говорит «не знаю», если их нет;
- при неуверенности диалог уходит к сотруднику;
- в ответе есть ссылка на документ, по которому он составлен;
- темы вне компетенции бота закрыты правилами.
Полностью исключить ошибки нельзя. Поэтому решения о деньгах и договорах оставляют человеку.
Как проверить качество до запуска
Оценка «на глаз» по пяти вопросам обманчива. Нужен набор примеров.
Соберите реальные вопросы клиентов из переписки и запишите к каждому правильный ответ. Чем больше примеров, тем надёжнее оценка. Включите в набор неудобные случаи: вопросы не по теме, запросы с ошибками, попытки добиться скидки.
Прогоните набор через прототип и разметьте ответы: верно, неверно, передано человеку. После каждого изменения в настройках прогоняйте набор снова. Так вы видите, улучшила ли правка результат или сломала то, что работало.
Сколько это стоит в эксплуатации
Расходы складываются из двух частей. Первая: плата поставщику модели за объём обработанного текста. Она растёт вместе с числом диалогов и длиной документов, которые бот читает на каждый вопрос. Вторая: время сотрудника, который раз в неделю просматривает диалоги и дополняет базу знаний.
Расход на модель оценивают на этапе прототипа по вашим примерам. Вы видите порядок суммы до запуска.
Что с конфиденциальностью
Вопросы клиентов и фрагменты документов уходят поставщику модели. Перед запуском проверьте три вещи:
- обучает ли поставщик модели на данных, переданных через API;
- какие персональные данные попадают в запросы и можно ли их обезличить;
- упомянута ли такая обработка в вашей политике конфиденциальности.
Если данные нельзя передавать за пределы компании, модель разворачивают на собственном сервере. Это дороже и требует оборудования.
С чего начать
- Выберите одну задачу с измеримым результатом, например долю вопросов, закрытых без сотрудника.
- Соберите документы с ответами и приведите их в порядок.
- Подготовьте набор реальных вопросов с правильными ответами.
- Назначьте сотрудника, который знает предмет и оценит прототип.
О том, как мы строим такие решения, читайте на странице разработки чат-ботов с ИИ.