Google продемонстрировала технологию повышения разрешения фото в 16 раз без потери качества

Google опубликовала в своём блоге исследование специалистов из внутренней команды Brain Team, озаглавленное как «Создание высокоточных изображений с использованием моделей диффузии» – CDM. В статье исследователи рассказывают о новых достижениях, которые они сделали в области масштабирования цифровых изображений без потери качества.

Google изучает эту концепцию с 2015 года, когда она впервые была предложена. Однако до недавнего времени она уступала методам глубокого обучения — так называемым глубоким генеративным моделям. Компания обнаружила, что результаты нового подхода превосходят все существующие технологии.

В основе нового решения лежит комбинация двух подходов, SR3 (Super-Resolution via Repeated Refinement) и CDM (class-conditional diffusion model). Обе технологии задействуют машинное обучение.

via GIPHY

Первая технология создаёт изображение с высоким разрешением из шума, опираясь на исходную картинку с низким разрешением. Модель обучается методам искажения изображения, а затем алгоритм обращает процесс вспять, постепенно удаляя шум и адаптируя модели денойзера, руководствуясь исходной картинкой с низким разрешением.

В процессе апскейла (масштабирования) используется вторая технология, дополняющая генерируемое изображение высокого разрешения новыми данными. Она обучена на данных ImageNet для создания реалистичных изображений с высоким разрешением. Сначала она генерирует данные с низким разрешением, а затем постепенно повышает разрешение сгенерированного изображения до самого высокого значения.

Google опубликовала набор примеров, демонстрирующих работу этой модели. К примеру, фото 32×32 может быть увеличено до 64×64, а затем до 256×256, а фотография 64×64 может быть увеличена до 256×256, а затем до 1024×1024.

То есть с помощью этой технологии можно повысить разрешение оригинального изображения в 16 раз. На некоторых изображениях заметны графические артефакты, но в целом результат впечатляет.