Google разработала технологию, раскрашивающую чёрно-белые видео по одной фотографии

Поисковый гигант разработал ИИ, с которым понадобится лишь одна фотография для конвертации чёрно-белых видеозаписей в цветные.

За основу разработчики взяли коллекцию роликов Kinetics. Работает технология следующим образом: первые кадры конвертировали в чёрно-белый цвет, далее нейросеть восстанавливает первоначальный. ИИ разбивает кадры на области, которые нужно окрасить в разные цвета, и отслеживает их перемещение.

Наша гипотеза заключается в том, что временная когерентность цвета обеспечивает отличные широкомасштабные данные для машинного обучения, чтобы отслеживать области в видео. Ясно, что есть исключения, когда цвет не является временно когерентным (например, внезапно включается свет), но в целом стабилен с течением времени. Кроме того, большинство видеороликов содержат цвет, который обеспечивает масштабируемый самоконтролируемый обучающий сигнал. Мы обесцвечиваем видео, а затем добавляем шаг раскраски, потому что могут быть несколько объектов с одним цветом, но таким путём мы можем научить машины отслеживать определённые объекты или области.

В технологии присутстует модель отслеживания человеческих поз, заданных ключевыми точками в исходном кадре. В конечном итоге мы можем наблюдать человеческий скелет из публично доступного академического набора данных JHMDB. Задача обучения нейросетей отслеживанию объектов на видео требует огромного количества входных данных. Вручную это достаточно сложно, именно потому поручают разметку ИИ.

Одной из важных проблем машинного обучения является отсутствие большого количества данных для тренировки моделей. Однако специалисты считают, что дальнейшее улучшение модели раскраски видео может способствовать успеху в самоконтролируемом отслеживании объектов. Также исследователи отметили, что две нейросети, работающие в паре, улучшают результаты работы друг друга.

Подписывайтесь на «Код Дурова» в Telegram и во «ВКонтакте», чтобы всегда быть в курсе интересных новостей!