Исследователи из Вашингтонского университета совместно с разработчиками из Facebook создали алгоритм, который «оживляет» людей на фотографиях. По единственному снимку он генерирует трёхмерную движущуюся модель фигуры, которая может садиться, прыгать, бегать и даже «выходить» за пределы изображения. Алгоритм работает также для рисунков и персонажей аниме.

Для создания такой технологии исследователи воспользовались наработками коллег.

  • Нейросеть Mask R-CNN распознаёт на изображении фигуру человека и выделяет её из фона.
  • Другой алгоритм накладывает на фигуру упрощённую разметку скелета, определяя то, как она будет двигаться.
  • Третий алгоритм «заполняет» пространство фона, ранее скрытое фигурой.

Далее собственный алгоритм исследователей на основе размеченной двумерной фигуры создаёт трёхмерную модель и по исходному изображению генерирует уровень текстуры.

Разработчики добавили пользовательский интерфейс, который позволяет менять позу фигуры, чтобы отредактировать саму фотографию или определить, с чего начнётся анимация. Кроме того, можно «оживить» рисунок или фотографию в дополненной реальности и увидеть объёмную фигуру в VR- или AR-очках.

Источник: tproger.ru

Подписывайтесь на «Код Дурова» в Telegram и во «ВКонтакте», чтобы всегда быть в курсе интересных новостей!