Перевод видео в Яндекс Браузере теперь передаёт оригинальные голоса и интонации

В Яндекс Браузере заработал закадровый перевод видео нового поколения. Используемые нейросети научились передавать оригинальные голоса и интонации героев видео, рассказали «Коду Дурова» в пресс-службе Яндекса.

Новая нейросетевая модель работает с английским языком — она выделяет тембр, ритм, интонации и воспроизводит их в переводе. Модель обучалась на сотнях тысяч примеров аудио.

Редакция «Кода Дурова» проверила работу перевода видео: иногда нейросеть может выдать звуковой артефакт (например, эффект эхо), а некоторые переведённые спикеры звучат с сильным английским акцентом. Ниже — демонстрация работы новой функции.

Помимо интонаций, новая нейросеть стала точнее переводить смысл сказанного в видео. По словам Яндекса, формулировки стали естественнее, а переводчик учитывает стилистические особенности речи.

Закадровый перевод работает на YouTube, Rutube, VK Видео, в Дзене и в поиске Яндекса. Для работы функции необходима авторизация через Яндекс ID.