10 октября 2024

eur = 106.42 0.73 (0.69 %)

btc = 60 970.00$ - 780.33 (-1.26 %)

eth = 2 384.65$ -38.46 (-1.59 %)

ton = 5.04$ -0.12 (-2.28 %)

usd = 96.95 0.84 (0.87 %)

eur = 106.42 0.73 (0.69 %)

btc = 60 970.00$ - 780.33 (-1.26 %)

Форум

Учёные из Tinkoff Research создали самый эффективный алгоритм для обучения и адаптации ИИ

2 минуты на чтение
Учёные из Tinkoff Research создали самый эффективный алгоритм для обучения и адаптации ИИ

Читать первым в Telegram-канале «Код Дурова»

Новый метод получил название ReBRAC (Revisited Behavior Regularized Actor Critic, что переводится как «пересмотренный актор-критик с контролируемым поведением»), сообщили «Коду Дурова» в Тинькофф.

Сообщается, что он обучает ИИ в четыре раза быстрее и на 40% качественнее мировых аналогов в области обучения с подкреплением, адаптируя его к новым условиям на ходу.

Выше — визуализация качества альтернативных подходов и алгоритма ReBRAC. По горизонтальной оси — качество алгоритма относительно «эксперта» (служит эталоном для обучения ИИ-агентов), где 100 — это уровень эксперта. По вертикальной оси — процент испытаний, в которых удалось превзойти выбранную отсечку качества. Чем выше линия, тем лучше. Метод, предложенный Tinkoff Research, стал первым превзошедшим эксперта почти в половине испытаний.

В Тинькофф отмечают, что ReBRAC может поспособствовать преодолению технологического и цифрового разрыва между разными странами, так как более эффективные алгоритмы требуют меньше вычислительных ресурсов.

Результаты исследования были представлены на главной научной конференции в области ИИ в мире — международной конференции по машинному обучению и нейровычислениям NeurIPS (The Conference and Workshop on Neural Information Processing Systems), которая прошла с 10 по 16 декабря в Новом Орлеане (США). Тем самым они были признаны мировым научным сообществом.

Говоря о сути открытия, в Tinkoff Research отмечают четыре компонента, которые хоть и были представлены в алгоритмах последних лет, однако считались второстепенными и не подвергались детальному анализу. В их числе глубина нейросетей, регуляризация актора и критика, увеличение эффективного горизонта планирования, а также использование нормализации слоев.

Учёные из Tinkoff Research интегрировали эти компоненты в алгоритм-предшественник BRAC (Behavior Regularized Actor Critic — «актор-критик с контролируемым поведением»), провели исследование и выяснили, что их правильная совокупность даёт даже этому старому подходу самую высокую производительность среди лучших аналогов на сегодняшний день.

В Тинькофф подчеркнули, что в 2023 году рецензенты NeurIPS получили на рассмотрение свыше 13 тысяч статей от учёных со всего мира, из которых только 3,5 тысячи были отобраны для представления на конференции — в их числе сразу четыре научные статьи Tinkoff Research.

Помимо ReBRAC, учёные представили две открытые библиотеки в области офлайн-обучения с подкреплением (Offline RL, ORL), благодаря которым специалистам по ИИ больше не требуется самостоятельно воспроизводить результаты наиболее весомых научных работ. В Тинькофф добавили, что эти статьи уже цитируются ведущими исследовательскими лабораториями со всего мира, в том числе Стэнфордским университетом, Калифорнийским университетом в Беркли и научно-исследовательской лабораторией Google DeepMind.

Сейчас читают

Картина дня

8 октября, 2024
8 октября, 202412 минут на чтение
Фото Влад Войтенко
Влад Войтенко
12 минут на чтение
[ Новости ]
[ Статьи ]
Личный опыт работы
Блоги 275