Yandex Cloud разработала нейросеть-«эмпата», которая распознаёт эмоции человека по голосу

Yandex Cloud представила нейросеть, способную по голосу распознавать эмоции, негатив, неформальные высказывания и нецензурную лексику, а также пол спикера и его фразы в диалоге.

С её помощью бизнес сможет создавать голосовых помощников и виртуальных операторов кол-центров, сообщили в компании.

Нейросеть-эмпат разработана на базе технологии распознавания речи Yandex SpeechKit. С её помощью компании смогут создавать голосовых помощников и виртуальных операторов кол-центров, которые умеют понимать человеческие эмоции. Это позволит бизнесу улучшить качество аналитики телефонных разговоров, а также лучше адаптировать работу кол-центров под каждого клиента и оперативно реагировать на нештатные ситуации во время диалога, – говорится в сообщении.

Алгоритм может определять эмоции не только по содержанию речи спикера, но и по голосу – по скорости речи, высоте,тембру и другим параметрам. Нейросеть также определяет пол участников разговора и поддерживает технологию speaker labeling – она отмечает, кому принадлежит та или иная реплика.

Это позволяет полноценно работать с одноканальными звуковыми дорожками: например, при записи с диктофона или при технологических ограничениях виртуальной АТС. Кроме того, ML-модель расширяет возможности оффлайн-аналитики: данные от нейросети помогут понять, какие именно темы и формулировки от оператора вызывают негатив у клиента, и позволит оптимизировать сценарии коммуникации.

Вскоре новая модель заработает в сервисе речевой аналитики SpeechSense, который включает в себя технологии Yandex SpeechKit и интегрирован с генеративной нейросетью YandexGPT. Взаимодействие нескольких ML-моделей позволит распознать более сложные эмоции спикера – например, неуверенность или сарказм. Также нейросети смогут оценить, насколько оператор действительно погрузился в проблему клиента, пытался ли помочь решению или старался как можно быстрее завершить разговор.