Исследователи опубликовали датасет из 1,39 млн изображений для трёхмерной реконструкции

Международная группа исследователей из Института искусственного интеллекта AIRI, Сколтеха, МИФИ, Нью-Йоркского университета и Технического университета Мюнхена представила большой датасет, предназначенный для многоракурсной 3D-реконструкции.

Он состоит из 1,39 миллиона изображений для усовершенствования искусственного интеллекта в области создания трёхмерных моделей из фотографий. Получить доступ к датасету можно здесь.

Для упрощения разработки и оценки алгоритмов ИИ, учёные опубликовали этот новый набор данных, который содержит изображения с различных сенсоров RGB и глубины, включая смартфоны, Intel RealSense, промышленные камеры и сканер структурированного света. Благодаря специализированной установке и контролируемому освещению, исследователи собрали 1,39 миллиона изображений 107 небольших объектов.

Статья с описанием процесса подготовки датасета была опубликована на конференции Computer Vision and Pattern Recognition 2023. Там же было проведено исследования, которая показало, что работа по 3D-реконструкции, существенно зависит от типа сенсорных данных.

Как правило, разработка вычислительных методов адаптируется под конкретный тип данных, что сужает их применение. Например, фотографические данные могут обеспечить высокую точность геометрии, но восстановить визуально единое поле, как одноцветная стена, представляет собой проблему. Однако, сочетание различных типов сенсорных данных при помощи ИИ может решить эту проблему.

В ходе исследования было выявлено, что свойства отражательной способности поверхности коррелируют с качеством реконструкции, созданной с помощью ИИ. Объекты с большим количеством текстур или непрозрачных деталей оказались лучше подходящими для качественной реконструкции.