Яндекс представил в Южной Корее исследования об ускорении обучения ИИ и оптимизации серверов
Читайте в Telegram
|
Исследователи и инженеры Яндекса представили серию научных работ на International Conference on Machine Learning — одной из крупнейших международных конференций по машинному обучению. В этом году ICML проходит в Сеуле.
Все работы Яндекса приняли в основную программу конференции. Они посвящены ключевым задачам ИИ-индустрии: как ускорять обучение моделей, эффективнее использовать видеокарты, работать со сложными данными и снижать зависимость от дорогостоящей ручной разметки.
Всего в этом году на ICML подали 23 918 научных работ. В основную программу вошли 6 352 статьи — 26,6% от общего числа заявок.
Одна из работ Яндекса посвящена графовым нейросетям — моделям, которые анализируют не только объекты, но и связи между ними: например, между пользователями и товарами, документами или участками дорожной сети. Исследователи разработали программные модули, которые эффективнее используют память видеокарт. В экспериментах они ускорили вычисления до 8,5 раза, сократили пиковое потребление памяти до 76 раз, а отдельные операции — в 3,9–10 раз.
Эта работа получила статус Spotlight — его присваивают статьям с самыми высокими оценками программного комитета. В этом году такой статус получили 536 работ, или 2,2% от всех поданных. Код модулей Яндекс уже опубликовал в открытом доступе.
Ещё одно исследование касается обучения больших языковых моделей. При конвейерном параллелизме часть видеокарт может простаивать в ожидании других устройств. Команда Яндекса показала, что проблему нестабильности асинхронного обучения можно решить подбором алгоритма оптимизации и дополнительной коррекцией обновлений. В тестах на MoE-моделях размером 10 млрд параметров метод показал качество, идентичное синхронному обучению.
Также Яндекс представил два новых алгоритма оптимизации — SoftSignum и SoftMuon. Они определяют, как модель обновляет параметры во время обучения, и в экспериментах стабильно превосходили несколько распространённых подходов, включая AdamW.
Отдельные работы посвящены сложным данным. Например, исследователи разработали GraphPFN — модель, предварительно обученную более чем на 1,6 млн синтетических графов. Она показывает высокое качество даже без дополнительной настройки, а после адаптации под конкретную задачу превосходит другие рассмотренные подходы на большинстве реальных наборов данных.
Ещё одно направление — обучение моделей при нехватке размеченных данных. Яндекс совместно с другими исследователями предложил подход, который позволяет использовать небольшой объём размеченных данных вместе с большим массивом неразмеченных. Это может быть полезно в медицине, промышленности и других областях, где разметка требует участия экспертов.
Также на ICML представили работу Яндекса для поисковых и рекомендательных систем. Новый метод помогает заранее отбирать наиболее подходящих кандидатов для последующей точной оценки и тем самым снижать вычислительные затраты.
