Как работает голосовой AI-агент: от звонка до ответа

Как работает голосовой AI-агент: четыре звена между звонком и ответом

Голосовой AI-агент — это AI-агент, к которому добавили слух и голос. Всё, что умеет текстовый агент, он умеет и по телефону. Но звук приносит четыре проблемы, которых нет в чате: время, перебивания, ошибки слуха и запись разговора. Услугу, то есть приём входящих и обзвон, описывает страница голосового AI-агента, а здесь разбираем устройство.

Обычная схема каскадная: каждое звено делает свою работу и передаёт результат дальше.

Между звеньями работает управление разговором: оно решает, когда клиент договорил, когда агенту замолчать и что делать с тишиной. Часто именно оно, а не «умная модель», определяет, приятно ли говорить с агентом.

Есть и другой подход: модели, которые принимают и выдают речь напрямую. На момент подготовки материала они быстро развиваются, и присматриваться к ним стоит. Для бизнес-звонков мы пока исходим из каскада: на каждом шаге есть текст, который можно записать в журнал и проверить тестом.

Голосовой бот на нейросети, IVR и бот по сценарию: в чём разница

Не всякий голосовой бот — AI-агент. Меню «нажмите один» и бот по дереву сценария работают по жёстким правилам: предсказуемо, но понимают только заготовленное. Голосовой бот на нейросети принимает свободную речь и работает с вашими системами, зато менее предсказуем, и ему нужны узкие права, тесты и передача человеку. Если звонки сводятся к выбору из пяти пунктов, агент не нужен: меню дешевле и надёжнее. Как отличить такой случай, разобрано в статьях когда AI-агент не нужен и AI-агент или чат-бот.

Как голосовой AI-агент понимает, что клиент договорил, и что делает при перебивании

Люди передают друг другу слово без усилий, агенту это приходится программировать. Задач три.

• Конец реплики. Система решает, что клиент закончил, по паузе. Ждать долго значит получить неловкую тишину, ждать мало значит вклиниваться в середину фразы. Единого значения паузы нет, его подбирают на записях вашего сценария.
• Перебивание (barge-in). Клиент заговорил, пока говорит агент. Агент должен сразу замолчать и выслушать. Тонкость: модели нужно сообщить, какая часть ответа успела прозвучать, иначе она решит, что клиент услышал фразу целиком.
• Ложные перебивания. «Ага», кашель, шум на фоне и собственный голос агента, вернувшийся в микрофон на громкой связи. Без эхоподавления и фильтрации агент обрывает сам себя и теряет нить.

Ещё два случая. Клиент диктует номер с паузами между цифрами: порог для обычной речи сработает посреди диктовки, поэтому на этом шаге агента заставляют ждать дольше. В исходящем звонке ответил автоответчик: распознать его удаётся не всегда, и сценарий не должен наговаривать на него ничего лишнего.

Задержка в голосовом агенте: откуда берётся пауза

В чате ответ через несколько секунд воспринимается нормально. В разговоре пауза читается как «связь пропала»: человек повторяет или кладёт трубку. Поэтому задержка часто важнее «ума» модели. Мы считаем её от конца фразы клиента до первого звука ответа. Цифр нет сознательно: они зависят от сервисов и нагрузки. Пауза складывается из шести частей:

1. Путь звука по сети от телефонии до сервера агента и обратно.
2. Ожидание конца реплики: система выжидает, не продолжит ли клиент.
3. Окончательная расшифровка последней фразы.
4. Время до первого слова у модели: оно растёт вместе с длиной инструкции и историей разговора.
5. Вызов инструментов. Запрос в 1С или CRM может занять больше времени, чем сама модель, а скоростью чужой системы агент не управляет.
6. Время до первого звука у синтеза речи.

Части складываются, поэтому сокращать приходится все сразу:

• Потоковая обработка. Распознавание, модель и синтез работают одновременно: во многих реализациях агент начинает говорить, пока модель дописывает конец ответа.
• Данные заранее. Пока звучит приветствие, агент по номеру звонящего подтягивает карточку и последние заявки, а не идёт в 1С посреди фразы.
• Короткие ответы. Одна-две фразы вместо абзаца: длинный текст дольше озвучивается, и начало забывается.
• Модель под шаг. Простые шаги отдают быстрой модели, сложные сильной.
• Честная пауза. Если инструмент отвечает долго, «секунду, проверю» лучше тишины.

Компромиссы неизбежны: быстрее определяешь конец реплики, чаще перебиваешь клиента; сильнее модель, длиннее пауза. Поэтому задержку принимают на реальных звонках и смотрят на худшие реплики, а не на среднее: помнятся долгие паузы. Как собирать такие данные после запуска, описано в статье про мониторинг AI-агента.

Распознавание речи для бизнеса: плохая линия, имена, числа и адреса

Распознавание чаще всего ломается там, где слово нельзя угадать по смыслу.

• Имена и фамилии. Редкие, иностранные, с неочевидным написанием.
• Числа. По телефону «пятнадцать» и «пятьдесят» легко спутать, особенно на плохой линии. Номера, суммы, даты и время относятся к зоне риска.
• Адреса. Похожие названия улиц, корпус, строение, дробь, «дом пятнадцать а».
• Ваш словарь. Названия товаров, моделей техники, артикулы, жаргон. Многие сервисы позволяют передать список ожидаемых слов, но возможности проверяйте.
• Шум и связь. Громкая связь в машине, улица, несколько голосов. Телефонный звук, как правило, беднее записи с микрофона, поэтому демо в гарнитуре на реальных звонках может не повториться.
• Озвучка. Синтез речи может поставить неверное ударение в фамилии и неверно прочитать артикул. Проверяется прослушиванием ваших реальных названий и адресов.

Подтверждение критичных данных: повторить и получить «да»

Главная защита от ошибки слуха проста: повторить услышанное и дождаться явного подтверждения. Не «всё верно?» в конце разговора, а сразу после каждого критичного поля. Условная иллюстрация: клиент называет улицу, агент отвечает «улица Ленина, дом пятнадцать, верно?». Если услышано «пятьдесят», клиент поправит, пока ничего не записано.

• Цифры повторяют группами и с паузами, как их диктуют люди.
• Формат проверяет код, а не модель: длину телефона, существование даты, наличие адреса в справочнике.
• Число попыток ограничено. Переспросили дважды и не поняли: предложить другой канал (ссылку на форму в мессенджере) или позвать человека.
• Запись, заказ и перенос визита выполняются только после явного «да».

Как работает голосовой AI-агент, когда не справляется: передача человеку

Передача человеку не признак поломки, а часть сценария. Типовые причины:

• клиент попросил человека: соединяем сразу, без попыток удержать;
• раздражение клиента, если его удаётся распознать;
• два непонятых ответа подряд или нужное поле не получено за разрешённое число попыток;
• тема вне сценария или чувствительная: жалоба, спор о деньгах, здоровье, авария;
• сбой инструмента или модели, низкая уверенность агента.

Вместе с вызовом оператор получает пакет контекста, а не пустую линию:

Лучше, если пакет приходит до соединения, например карточкой в CRM (возможность зависит от АТС): тогда оператор начинает с «вижу, вы хотите перенести визит на четверг», а не с «слушаю вас, что случилось». Если свободных операторов нет, агент не держит клиента на линии бесконечно, а создаёт заявку на обратный звонок с тем же пакетом. Где решение остаётся за человеком, разобрано в статье про человека в контуре, а про первую линию — на странице AI-агента для колл-центра.

Чего голосовой агент не должен делать на звонке

Клиент принимает слова агента за обещание компании. Поэтому границы задают заранее и закрепляют не только в инструкции, но и в правах инструментов.

Список зависит от отрасли, а правила и формулировки определяет заказчик, при необходимости вместе с юристом: мы переводим их в ограничения сценария и инструментов. Голосового агента можно пытаться уговорить так же, как текстового, поэтому защита держится на правах, а не на вежливом отказе: см. статьи об инструментах агента и о безопасности AI-агентов.

Запись звонков и персональные данные: кто что хранит

Голос и расшифровка разговора — персональные данные, а запись голоса в ряде случаев может рассматриваться как биометрические данные. Как квалифицировать ваш случай, решает юрист: это не юридическая консультация. Оператором остаётся заказчик, исполнитель обрабатывает данные по договору. Общую картину разбирает статья ИИ и персональные данные, вопросы службы безопасности — материал «Что спрашивает служба безопасности».

У голоса своя специфика: четыре звена цепочки означают несколько мест, куда уходят звук или текст разговора, и это могут быть разные сервисы. Спрашивать нужно про каждое звено отдельно:

• где обрабатываются звук и текст и в какой юрисдикции;
• сохраняет ли поставщик аудио и расшифровку, на какой срок и можно ли это отключить;
• используются ли данные для обучения моделей поставщика;
• что попадает в журнал агента: номера карт и паспортные данные стоит маскировать;
• кто слушает записи, сколько они хранятся и как удаляются;
• что происходит при отказе клиента от записи: решает заказчик.

Если данные не должны покидать периметр, распознавание, модель и синтез можно развернуть на своих серверах: это установка в контуре заказчика, а железо идёт отдельной строкой (см. локальные модели для AI-агентов). Подойдёт ли качество открытых моделей русской речи, проверяют на ваших записях.

Как проверить голосового агента до запуска

Голосового агента проверяют звонками, а не чтением инструкции. Набор звонков собирают до разработки, согласуют с вами и не подгоняют под агента.

• Типовые звонки. Реальные записи, если есть основания их использовать, либо сценарии, которые проигрывают сотрудники.
• Живая речь. Перебивания, «алло, вы меня слышите?», диктовка с паузами, исправления «нет, не на пятницу, на четверг».
• Плохие условия. Шум, громкая связь, обрывы, быстрая речь, акценты.
• Трудные данные. Ваши редкие названия, фамилии, адреса, числа.
• Попытки сбить. Просьба о скидке, вопрос вне темы, «забудь инструкции», требование назвать данные другого клиента.

Сценарии отказа

Отдельно проверяют, как агент ведёт себя, когда ломается сама цепочка: распознавание вернуло пустой текст, модель отвечает слишком долго, 1С или CRM недоступна, синтез упал, пропала связь, свободных операторов нет. Нужное поведение записывают заранее: честная фраза, передача человеку или обратный звонок. Ни один вариант не оставляет клиента в тишине.

По итогам смотрят на то, что можно посчитать: доля звонков, доведённых до цели без оператора; доля корректных и своевременных передач; точность критичных полей против эталонной расшифровки; задержка по худшим репликам; доля ложных перебиваний. Порог приёмки фиксируют в договоре до старта, а первые недели после запуска человек слушает выборку звонков. Методика — в статье как оценить качество AI-агента. Для обзвона (AI-агент для отдела продаж) добавляются автоответчики, недозвоны и ограничения по времени, частоте и основаниям для звонка (например, согласие абонента), которые определяет заказчик вместе с юристом.

Из чего складывается стоимость голосового агента

Суммы зависят от потока звонков и сервисов, поэтому ниже статьи расходов.

• Разработка и интеграция: телефония, CRM, учётная система, сценарии, тесты на звонках.
• Распознавание и синтез речи. Обычно оплачиваются по объёму звука или текста; условия различаются, проверяйте актуальные у поставщика.
• Модель. В голосе реплики короче, но их больше, а история растёт; см. сколько агент тратит на обращения к модели.
• Телефония, хранение записей и железо (если всё работает в вашем контуре) идут отдельными строками.
• Сопровождение. Названия и сценарии меняются, и без обновлений качество падает: почему агент деградирует без сопровождения.

Ориентиры по этапам: экспресс-аудит процессов с расчётом ROI — 50 000 ₽, 5-7 рабочих дней, сумма засчитывается в проект; пилот на одном процессе — от 200 000 ₽, 3-4 недели; сопровождение — от 40 000 ₽ в месяц. Голосовой сценарий считаем на аудите: объём интеграции известен только по конкретной АТС.

Мы не советуем начинать с голоса: текстовый агент покажет, работают ли ваши правила, а голос добавит четыре сложности сверху. Если канал только телефонный, берём самый узкий сценарий.