Российские учёные создали первую открытую среду для быстрого контекстного обучения с подкреплением

Виртуальная среда XLand-MiniGrid, в которой ИИ обучается принимать решения и выполнять новые действия, создана группой учёных из лаборатории научных исследований искусственного интеллекта T-Bank AI Research и Института AIRI при участии студентов из МФТИ, Сколтеха и Иннополиса.

Сообщается, что XLand-MiniGrid создана на базе JAX — технологии для разработки высокопроизводительных программ — и способна выполнять миллиарды операций в секунду.

В ней собрано 100 млрд примеров действий искусственного интеллекта в 30 тысячах задач, что позволяет использовать готовые датасеты для обучения, а не проводить его каждый раз с нуля.

«Мы пришли в область контекстного обучения с подкреплением, когда она еще зарождалась, и поэтому не нашли ни одного подходящего инструмента для оценки новых идей. Стало понятно, что это проблема для многих специалистов, а значит, она должна быть решена одной из первых. Поэтому появился XLand-MiniGrid», — отметил Вячеслав Синий, исследователь научной группы AI Alignment, лаборатория исследований искусственного интеллекта T-Bank AI Research.

Среда опубликована в открытом доступе — в ней уже провели эксперименты исследователи из Google DeepMind, Калифорнийского университета в Беркли и Оксфордского университета. Кроме того, научная статья, описывающая создание среды, была принята на крупнейшую международную конференцию в области ИИ — NeurIPS 2024:

Благодаря контекстному обучению с подкреплением модели быстро адаптируются к новым задачам, используя подсказки и контекст. При этом они не требуют длительного обучения с нуля, что позволяет ИИ эффективно взаимодействовать с окружающей средой и дообучаться на лету.