В России появилась открытая платформа тестирования моделей управления роботами

Институт AIRI открыл тестовый доступ к открытой платформе VLA Arena, сообщили «Коду Дурова» в пресс-службе организации.

Она позволяет пользователям оценивать и сравнивать современные модели управления роботами по аналогии с площадками для сравнения LLM.

Сообщается, что решение делает тестирование технологий доступным для широкой аудитории, включая исследователей, инженеров и любителей робототехники.

• Платформа имеет интерфейс, который позволяет запускать роботов в виртуальной среде, а также подключать реальные устройства.
• Пользователи могут оценивать производительность моделей в различных сценариях, в том числе на русском языке.
• Платформа работает с реальными роботами и симуляциями, а также поддерживает такие модели, как Vision Language Action (VLA).

В AIRI отметили, что на данный момент платформа поддерживает компактные манипуляторы LeRobot SO-100 и SO-101 от HuggingFace.

«Эти роботы, доступные для самостоятельной сборки или в готовом виде, идеально подходят для использования в образовательных и исследовательских целях. Их стоимость варьируется в пределах 30 тысяч рублей, что делает их доступными для широкого круга пользователей», — подчеркнули в организации.

В настоящий момент в рамках VLA Arena доступны 3 модели для реальных роботов и 4 для симуляций. Среди них:

• π0.5 от Physical Intelligence;
• SmolVLA от Hugging Face;
• Flower — модель с открытым исходным кодом, доступная для модификации;
• Модель с открытым исходным кодом, специально адаптированная в AIRI для работы на русском языке с более высоким коэффициентом локализации.

Кроме того, платформа содержит чистые датасеты для LeRobot из открытых источников, размеченные и переведенные на русский язык для помощи разработчикам в обучении собственных моделей для LeRobot.

«Мы видим в VLA-моделях огромный потенциал и работаем над тем, чтобы предоставить доступ к лучшим решениям. VLA Arena — это не просто инструмент для тестирования, но и научный проект, который призван повысить уровень транспарентности в оценке роботов и моделей управления ими. Мы делаем акцент на доступности и объективных метриках, которые не только учитывают технические характеристики моделей, но и оценку их эффективности с точки зрения конечных пользователей», — отметил руководитель научной группы «Адаптивные агенты» Института AIRI Владислав Куренков.

Сообщается, что первый запуск платформы запланирован на срок до 3 месяцев.