NVIDIA тренирует своих роботов при помощи Apple Vision Pro
Разработчик графических процессоров и систем на чипе использует масс-маркетовые продукты Apple для тестирования своих.
В одном из свежих пресс-релизов NVIDIA компания дважды упомянула Apple Vision Pro, а также продемонстрировала работу в видео про роботов-гуманоидов, которых обучают при помощи Generalist Robot 00 Technology (Project GR00T) — ИИ-модели на основе ИИ для создания человекоподобных роботов.
В NVIDIA рассказали, что для обучения базовых моделей человекоподобных роботов «требуется невероятное количество данных». Например, достаточно дорогим и сложным является телеоперация — процесс получения демонстрационных данных о человеке.
Он позволяет исследователям и ИИ-разработчикам генерировать огромное количество синтетических данных о движении и восприятии из минимального количества дистанционно снятых человеческих демонстраций.
Для захвата небольшого количества телеопераций разработчики используют Apple Vision Pro, утверждают в NVIDIA:
Затем они моделируют записи в NVIDIA Isaac Sim и используют микросервис MimicGen NIM для создания синтетических наборов данных на основе этих записей. Разработчики обучают базовую модель гуманоида Project GR00T на реальных и синтетических данных, что позволяет им сэкономить время и снизить затраты.
Компания Apple продемонстрировала Vision Pro в рамках ежегодной конференции для разработчиков WWDC 2023 ещё в июне прошлого года. Гарнитура взорвала интернет кучей реакций и мемов. Мы собрали лучшее в отдельном материале.
«Код Дурова» протестировал Apple Vision Pro и подробно в обзоре рассказал, что сейчас умеет «первый пространственный компьютер Apple», комфортно ли в нём находиться и способен ли он изменить мир.