В Яндексе продолжают экспериментировать с классом технологий, которые позволяют повысить разрешение видео с помощью нейронных сетей. Оценить работу собственной реализации super-resolution под названием DeepHD теперь можно просматривая хиты «Союзмультфильма».
Яндекс задался целью повысить разрешение фильмов и телеэфиров на главной странице и в результатах поисковой выдачи. В компании уверены, что ходе поиска старых фильмов в хорошем разрешении пользователи хотят видеть действительно качественную картинку на современных экранах. В комментарии «Коду Дурова» главред соцсетей Яндекса Екатерина Дементьева отметила, что в компании рады появлению технологии, позволяющей улучшить качество видеоматериалов:
Нам самим всегда хотелось поближе рассмотреть живность в «Путешествии муравья» — и здорово, что в Яндексе появилась технология, которая позволяет улучшить качество видео и убрать шумы, не меняя задумки художников. Ранее мы провели опыт с чёрно-белым кино, а теперь вышли в цвет. Мы отобрали лицензированный контент «Кинопоиска», договорились со студией «Союзмультфильм» (спасибо ей!) и провели первый эксперимент с «Умкой» и «Маугли» (1973) и «Дюймовочкой» (1964), а теперь проведём с этими мультиками великолепный вечер — чего и вам советуем, — рассказала Дементьева.
Обработка изображения технологией DeepHD проходит в два этапа — в обоих нейросеть принимает непосредственное участие. На первом этапе проходит очистка артефактов картинки — разнообразные помех, которые возникают, например, при сохранении в формате JPEG. Далее нейросеть-генератор, способная самостоятельно создавать изображения, получает на вход маленькую картинку, а на выходе выдаёт увеличенный её размер.
И это ещё не все нейронные сети, которые отвечают за переработку некачественного изображения в High-Definition. Нейросеть-генератор обучается под контролем ещё двух нейросетей: классификатора и дискриминатора. Первый отвечает за контроль генератора — если он добавляет в картинку что-то, чего на самом деле нет в оригинале, то классификатор уничтожает подобные элементы, а сам генератор получает штраф. А вот дискриминатор занимается проверкой, настоящим ли вышло обработанное изображение. Если оно выдаётся за оригинальное — значит нейросеть-генератор справилась со своей задачей.
Технология DeepHD также способна обрабатывать и простые фотографии. Для примера ранее Яндекс показал работу нейросетей со скриншотами чёрно-белых фильмов о Великой отечественной войне. Детализации картинки действительно повышается в несколько раз — после обработки можно разглядеть мимику лица, рисунок ткани или рассматривать общую фактуру лица. При этом слишком засветлённый фон сменяется сглаженным по всему периметру затемнением — это позволяет получить от изображения куда большее наслаждение.
Читать первым в Telegram-канале «Код Дурова»
