Исследователи из Вашингтонского университета совместно с разработчиками из Facebook создали алгоритм, который «оживляет» людей на фотографиях. По единственному снимку он генерирует трёхмерную движущуюся модель фигуры, которая может садиться, прыгать, бегать и даже «выходить» за пределы изображения. Алгоритм работает также для рисунков и персонажей аниме.
Для создания такой технологии исследователи воспользовались наработками коллег.
Нейросеть Mask R-CNN распознаёт на изображении фигуру человека и выделяет её из фона.
Другой алгоритм накладывает на фигуру упрощённую разметку скелета, определяя то, как она будет двигаться.
Третий алгоритм «заполняет» пространство фона, ранее скрытое фигурой.
Далее собственный алгоритм исследователей на основе размеченной двумерной фигуры создаёт трёхмерную модель и по исходному изображению генерирует уровень текстуры.
Разработчики добавили пользовательский интерфейс, который позволяет менять позу фигуры, чтобы отредактировать саму фотографию или определить, с чего начнётся анимация. Кроме того, можно «оживить» рисунок или фотографию в дополненной реальности и увидеть объёмную фигуру в VR- или AR-очках.
Данная страница содержит «вставки» с других сайтов, скрипты которых могут собирать ваши личные данные для аналитики и своих внутренних потребностей. Редакция рекомендует использовать браузеры с блокировкой трекеров для просмотра таких страниц. Подробнее →
