Учёные из Tinkoff Research открыли алгоритм, ускоряющий обучение ИИ в 20 раз

Новый метод SAC-RND, открытый учёными из лаборатории исследований ИИ Tinkoff Research, обучает роботов в 20 раз быстрее и на 10% качественнее всех существующих аналогов, сообщили «Коду Дурова» в пресс-службе Тинькофф. Такие результаты показало тестирование метода на робототехнических симуляторах.

В Тинькофф отметили, что оптимизация обучения ИИ позволит ускорить развитие всех областей, в которых используются ИИ-агенты, например робототехники.

Также SAC-RND может повысить безопасность беспилотных автомобилей, упростить логистические цепочки, ускорить доставку и работу складов, оптимизировать процессы горения на энергетических объектах и сократить выбросы вредных веществ в окружающую среду.

Более того, открытие приближает учёных к созданию универсального робота, способного в одиночку выполнять любые задачи, подчеркнули в компании.

Объясняя суть открытия, в Тинькофф рассказали, что ранее использование случайных нейросетей (алгоритмов для последовательного и автоматического принятия решений, RND) считалось неподходящим для офлайн-обучения роботов с подкреплением. Однако учёные из Tinkoff Research обнаружили недостатки в проведённых ранее экспериментах и полученных в ходе них выводах.

К примеру, они исправили глубины используемых нейросетей (случайной и основной), сделав их эквивалентными — именно использование неправильных размеров сетей привело научное сообщество к ошибочному выводу, что метод RND не умеет дискриминировать (классифицировать) данные.

Кроме того, в Tinkoff Research оптимизировали метод — роботы научились приходить к эффективным решениям благодаря использованию механизма слияния, основанного на модуляции сигналов и их линейном отображении. В предыдущих работах на тему RND сигналы не подвергались дополнительной обработке.

Выше — визуализация принятия решения роботами, обученными с помощью разных алгоритмов. Рисунки сверху — предыдущие методы, основанные на RND, рисунки снизу — метод SAC-RND. Стрелки на изображении должны вести робота в одну точку — они указывают направление к правильному действию.

Результаты исследования были представлены на одной из крупнейших мировых ИИ-конференций — ICML в Гонолулу (Гавайи).