Нейросеть Facebook позволила управлять движениями людей, снятых на видео

Благодаря труду команды разработчиков Facebook AI Research, нейронную сеть обучили распознавать движущегося человека на видео, менять фоновое изображение и контролировать его движения. Разработчики поделились подробным видеороликом.

На основе технологии, придуманной разработчиками из Facebook, лежат два нейросетевых алгоритма — Pose2Pose и Pose2Frame для переноса объектов из одного видео в другое. Также они задействовали алгоритм DensePose, который превращает двумерное изображение снятого на видео человека в трехмерную модель.

Чтобы превратить обычное видео в компьютерную игру, алгоритм DensePose создает 3D-модель определенного человека. Далее алгоритм Pose2Pose превращает запись с анимацией движущегося человека в видеоролик с черным фоном. Уже на этом этапе нейронная сеть способна воспринимать нажатия на клавиатуру и двигать «игрового персонажа» в нужную сторону. Наконец, алгоритм Pose2Frame создает конечное изображение с движущимся человеком и соответствующей анимацией.

Источник: hi-news.ru