Языковая модель Сбера по пониманию текстов на русском языке стала лучшей в мире

Главный русскоязычный бенчмарк по пониманию текстов Russian SuperGLUE провёл тест, по результатам которого в лидеры вышла языковая модель от Сбера и SberDevices FRED-T5 (Full-scale Russian Enhanced Denoisers T5). Она лучше всего в мире понимает текст на русском языке, уступая по точности лишь человеку.

Первые русскоязычные модели Сбер обучил ещё в 2019 году — ruBERT и ruGPT-2. Через год при помощи суперкомпьютера Christofari была создана модель ruGPT-3, существующая в разных вариантах. Самый большой из них насчитывает 13 млрд параметров.

Но в отличие от семейства GPT, состоящих только из декодирующих блоков трансформера, FRED-T5 содержит кодирующие блоки. Это позволяет эффективнее справляться с задачами в области обработки естественного языка.

Модель реализована на базе нейросети T5, имеет 1,7 миллиарда параметров и 24 слоя. Обучение проходило на задачах восстановления случайно удалённых фрагментов текста на суперкомпьютере Christofari Neo. Чтобы FRED-T5 эффективно решала поставленные задачи, специалистам понадобилось шесть недель и около 300 Гб текста.

Сергей Марков, директор Управления экспериментальных систем машинного обучения SberDevices:

Ведущие исследовательские центры в области машинного обучения в последние годы создают всё более и более крупные нейронные языковые модели. Количество параметров самых больших монолитных нейросетей уже перевалило за 500 миллиардов и продолжает расти. Это беспрецедентные в истории человечества вычислительные проекты. Но прогресс заключается не только в создании всё более огромных нейросетевых монстров, но и в совершенствовании архитектур сетей и методов их обучения. Благодаря этому самые современные модели при том же количестве параметров интеллектуально превосходят своих предшественников. Хорошим примером этого эффекта является нейросеть FRED-T5, которая при сравнительно скромном по нынешним меркам числе параметров стала лидером в понимании русского языка.

Лидерборд Russian SuperGLUE (General Language Understanding Evaluation) — первый рейтинг нейросетей для русского языка. Место в нём зависит от того, как нейросеть справится с заданиями на логику, здравый смысл, целеполагание и понимание смысла текста. Проект открытый, им пользуются исследователи данных, работающие с русскоязычными нейросетями.