Нейросеть научили в реальном времени превращать наброски в фотографии

Американские и британские разработчики создали приложение, в котором пользователь может сделать набросок и сразу же получить изображение, созданное нейросетью на его основе. Алгоритм состоит из двух частей, одна из которых дорисовывает набросок, а вторая превращает дорисованную картинку в фотографию. Разработка будет представлена на конференции ICCV 2019, статья о ней опубликована на arXiv.org.

Интерфейс самого приложения поделён на два окна: в первом пользователь рисует набросок, а во втором сразу же видит созданное нейросетями изображение. Правда, программа пока работает с ограничениями – только по предустановленным шаблонам. Прежде чем начать рисование, пользователь должен выбрать класс объекта.

По словам разработчиков, для обучения нейросети им пришлось создать свой набор из набросков и фотографий. В него вошли объекты десяти типов.