Яндекс запустил в своём браузере синхронный перевод прямых трансляций

Яндекс добавил в свой браузер технологию автоматического закадрового перевода прямых трансляций для некоторых YouTube-каналов, в том числе TED, Google, Apple, SpaceX и других.

Пока технология работает в режиме открытого бета-тестирования — для перевода трансляций на ограниченном числе YouTube-каналов. Протестировать технологию может любой пользователь «Яндекс Браузера» на компьютере. Для её работы задействовано целый 4 нейросети.

Работа с переводом прямой трансляции строится таким образом: одна нейросеть распознает аудио и превращает его в текст, другая – определяет пол спикера по биометрии. Третья нейросеть расставляет знаки препинания и выделяет из текста смысловые фрагменты — части, которые содержат законченную мысль. Их забирает ещё последняя нейросеть, отвечающая за перевод, который сразу синтезируется на русском языке.

Прототип автоматического перевода видео Яндекс анонсировал в июле прошлого года. Тогда технология работала только с роликами на английском языке.