Голосовые ИИ-агенты Яндекса научились менять интонацию и терпеть перебивания

Yandex B2B Tech выпустила новое поколение речевых моделей в Yandex AI Studio для голосовых ИИ-агентов. Об этом «Код.ру» сообщили в пресс-службе компании.

Агенты на новых моделях подбирают интонацию под контекст разговора, реагируют на перебивания и выполняют многошаговые запросы. По оценке компании, это позволит бизнесу в десятки раз увеличить долю обращений, которые решаются без оператора.

Модель TTS Live, которая синтезирует речь из текста, сама анализирует смысл фразы и расставляет акценты и паузы. Компании выбирают голос и манеру речи: уверенную для продаж, мягкую для поддержки, сдержанную для уведомлений. Есть и отдельные варианты для медицинских сценариев и аудиогидов.

Обновлённая Speech Realtime Max позволяет агенту решить несколько связанных задач за один звонок: перенести запись, рассчитать стоимость, применить скидку и отправить ссылку на оплату, обращаясь к корпоративным системам в реальном времени. Если клиент перебивает, агент замолкает и отвечает на новую реплику, а в истории диалога остаётся только та часть ответа, которую он успел произнести.

«Важно, чтобы голосовой агент умел не только реагировать на новые реплики, но и понимал, что уже успел сказать, а что собеседник не дослушал», — рассказала Елена Белоброва, руководитель направления развития бизнеса ML&AI сервисов Yandex B2B Tech.

Агентов настраивают текстовыми инструкциями, подключают к корпоративным системам и тестируют прямо в интерфейсе платформы. Речевые технологии Yandex SpeechKit уже используют «Литрес», «Додо Пицца», «ИнтернетУрок», МТС Exolve, X5 и другие компании.

Весной Yandex B2B Tech уже рассказывала «Код.ру», как компании могут собрать голосового ИИ-агента за несколько минут.