Яндекс запустил автоматическую озвучку на русский язык зарубежных видеороликов

Англоязычные ролики на YouTube, Vimeo и других популярных платформах теперь можно смотреть в русскоязычной озвучке с новой технологией автоматического перевода видео. О истории появления возможности рассказал руководитель Яндекс.Браузера Роман Иванов.

Это настоящий закадровый перевод с мужским и женским голосами — оригинальная дорожка приглушается и на неё накладывается новая. Перевод работает в Яндекс.Браузере для десктопов и Android, а также в приложении Яндекс для Android и iOS.

Автоматический перевод видео открывает перед людьми целый мир, который был недоступен из-за языкового барьер. Полностью стереть языковые границы в интернете — одна из наших главных задач. Мы приступили к её решению ещё в 2011 году, и сейчас умеем переводить все основные виды контента: текст, изображения, видео. Дальше мы будем добавлять в перевод видео новые языковые пары и голоса, помогая людям узнавать новое и получать от этого удовольствие.

— Роман Иванов, руководитель Яндекс.Браузера

Перевод происходит в несколько этапов. Яндекс распознаёт речь, превращает её в текст и с помощью нейронных сетей разбивает на предложения. После определения пола говорящего, система переводит предложения на русский язык и синтезирует голос.

Непростой задачей является совмещение перевода с видеорядом, так как в русском языке предложения длиннее, чем в английском. Здесь на помощь снова приходят нейросети, подробности можно узнать на «Хабре».

Для того, чтобы посмотреть видео в русской озвучке, нужно нажать на кнопку в плеере и немного подождать, так как процесс перевода занимает несколько минут. Когда всё будет готово, придёт уведомление.

Разработка этой технологии стала поводом для судебного разбирательства с сервисом AllMyBlog, который обвинил Яндекс в использовании чужой идеи: