Галлюцинации ИИ в бизнесе: как не отправить клиенту выдуманный ответ

Что такое галлюцинации ИИ и почему они возникают

Модель не хранит факты так, как их хранит справочник. Упрощённо, она продолжает текст так, чтобы он выглядел правдоподобно: после слов «срок доставки составляет» подставляет самое вероятное продолжение. Если в запросе есть нужный документ, продолжение обычно совпадает с ним. Если документа нет, модель нередко всё равно допишет фразу — аккуратно, уверенно и с выдуманным числом.

Отсюда ответ на вопрос, почему нейросеть врёт: она не лжёт намеренно и не сверяется с фактами, она достраивает текст. Верный и неверный ответ звучат одинаково уверенно, поэтому по тону их не отличить. Так и получается, что ИИ выдумывает факты: вопрос конкретный, данных под рукой нет, а отвечать модель всё равно стремится.

Галлюцинации ИИ в бизнесе выглядят так: скидка, которой нет в прайсе; пункт договора, которого нет в тексте; срок «по среднему»; ссылка на несуществующий регламент; статус заказа, придуманный по аналогии с другими. Это свойство самой модели, одним обновлением его не исправить, поэтому защиту строят вокруг неё.

Где галлюцинации ИИ в бизнесе обходятся дорого

Выдуманный ответ в приветствии почти ничего не стоит. Выдуманная цена или условие возврата стоят денег, а рекомендация пациенту — здоровья. Для каждого типа ответов прикиньте, что будет, если клиент поверит.

Для отраслей с высокой ценой ошибки правила жёстче, они описаны на страницах AI для клиник и AI для юристов. В ресторане такая цена у аллергенов: ответ о составе блюда берётся только из утверждённого источника, иначе вопрос уходит человеку; подробности — на странице про AI-агента для ресторана.

Отдельный случай — персональные данные: если агент покажет одному клиенту сведения другого, ответственность оператора персональных данных остаётся на компании, а то, что ответ написала нейросеть, её не снимает. Общие требования разобраны в материале об ИИ и 152-ФЗ, про переписку в Telegram, VK и MAX — на странице об агенте в мессенджерах.

Во сколько обходится одна выдуманная цифра

Иллюстрация, цифры условные. В прайсе изделие стоит 18 500 ₽, агент отвечает «из памяти» и называет 15 800 ₽, 12 клиентов оформили заказы по этой цене, и компания их выполнила. Разница на одного: 18 500 − 15 800 = 2 700 ₽. На всех: 2 700 × 12 = 32 400 ₽ — только недополученная выручка, без часов менеджеров на споры.

Если цену агент запрашивает в учётной системе, число берётся оттуда же, откуда прайс. Остаётся другая ошибка: агент мог понять вопрос не про то изделие, поэтому в ответе стоит называть позицию, по которой дана цена, — расхождение проще заметить и клиенту, и сотруднику.

Можно ли убрать галлюцинации полностью

Нет. Вопрос «как избежать галлюцинаций ИИ» в такой постановке ответа не имеет, а подрядчик, обещающий «ноль выдумок», обещает то, чего технология не даёт. Реалистичная цель двойная: снижать частоту и ограничивать последствия. Первое зависит от качества источников и поиска, второе — от устройства агента: что он вправе сказать и сделать сам, а что обязан передать человеку.

Где есть источник — отвечать по нему. Где источника нет — сказать об этом и позвать человека. Что нельзя проверить — не отдавать агенту.

Как выстроить защиту вокруг модели

Меры работают вместе: каждая закрывает свою часть риска, ни одна не закрывает его целиком. Галлюцинации ИИ в бизнесе от них не исчезают, меняется то, что происходит дальше.

1. Ответ только по найденному источнику. Агент ищет в базе знаний фрагменты по вопросу и отвечает по ним, указывая документ и раздел. Нет фрагмента — нет ответа. Так устроен RAG, подробнее в статье про поиск по базе знаний. Условие: база актуальна, два прайса разных лет в ней не лежат.
2. Право сказать «не знаю». В инструкции прописано: нет источника или фрагменты противоречат — агент сообщает, что ответа в источниках нет, и передаёт диалог сотруднику с кратким изложением вопроса. Модель склонна отвечать даже без источника, поэтому такое поведение проверяют отдельными вопросами, на которые правильный ответ — «не знаю».
3. Факты и числа — из систем, а не из памяти. Цену, остаток, статус заказа агент запрашивает через инструмент в учётной системе (по API или выгрузке, если система их даёт; доступность API ваших систем проверяем на экспресс-аудите и фиксируем в ТЗ и смете). Модель отвечает за формулировку, число подставляется как есть. Пример доступа к данным — агент с доступом к 1С.
4. Ограничение полномочий. Чтение и изменение разделяют: агент может узнать цену, но не поменять её; создать черновик заявки, но не провести её; предложить скидку из утверждённой таблицы, но не придумать свою. Список действий короткий, остальное закрыто. Кто отвечает за лишние полномочия, разобрано в статье об ответственности за ошибки агента.
5. Человек на критичных шагах. Деньги, юридические обязательства, здоровье, персональные данные: агент готовит, человек подтверждает. Какие шаги согласовывать и как не превратить согласование в формальность — в статье про человека в контуре.
6. Регрессионный набор вопросов и выборочный контроль. До запуска собирают реальные вопросы с эталонными ответами, включая каверзные, и прогоняют их после каждой смены модели, инструкции или базы знаний. После запуска сотрудник читает случайные диалоги. Условный расчёт: агент ведёт 400 диалогов в неделю, проверяют 20, на диалог уходит 3 минуты — 20 × 3 = 60 минут в неделю. Найденные ошибки агента пополняют тот же набор.

Последняя мера не заканчивается запуском: меняются прайсы, регламенты, модели. Без обновления базы знаний, инструкций и тестов качество агента падает за 2-3 месяца, поэтому сопровождение платное и длится не меньше 6 месяцев. Что в него входит, описано в статье о сопровождении AI-агента.

Ответы, которые нельзя проверить по источнику

• Нет источника. Исключения из правил, оценка ситуации, мнение. Если правильного ответа нет в документах, проверять нечем.
• Диагноз и правовая позиция. Агент может собрать анкету, найти пункт регламента, подготовить черновик. Заключение даёт врач или юрист.
• Индивидуальные условия. Скидка вне таблицы, возврат вне правил, перенос срока по договору — решает сотрудник с полномочиями.
• Неопознанный клиент. Данные конкретного человека агент не раскрывает, пока не пройдена идентификация; сомнение — передача человеку.
• Малый и разный поток. Если вопросов мало и каждый нестандартный, содержать базу знаний и тесты дороже, чем отвечать самим. Разбор таких случаев — в статье «Когда AI-агент не нужен».

На экспресс-аудите в ТЗ по каждому сценарию фиксируют, откуда берётся ответ, когда агент говорит «не знаю» и какие шаги подтверждает человек; состав аудита описан на странице про внедрение ИИ в бизнес.