Языковые модели SberDevices признали лучшими по пониманию текстов на русском языке

Текстовая модель ruRoberta-large finetune, разработанная SberDevices, признана лучшей по пониманию текста в соответствии с оценкой главного русскоязычного бенчмарка для оценки больших текстовых моделей Russian SuperGLUE, сообщили «Коду Дурова» в пресс-службе «Сбера». В этом рейтинге модель уступает по точности только человеку.

Кроме того, в шестерку лидеров вошли еще четыре модели от SberDevices:

В компании пояснили, что ruRoBERTa — это архитектурно тот же BERT, обученный на большом корпусе текста, только на задачу восстановления маскированных токенов, на большом батч-сайзе и с токенизатором BBPE от нейросети ruGPT-3. Отмечается, что обучение модели на суперкомпьютере «Кристофари» заняло три недели.

Что такое Russian SuperGLUE?

Лидерборд Russian SuperGLUE (General Language Understanding Evaluation) — первый рейтинг нейросетей для русского языка. Место в рейтинге зависит от того, насколько качественно нейросеть выполняет задания на логику, здравый смысл, целеполагание и понимание смысла текста. Это открытый проект, которым пользуются все исследователи данных, работающие с русскоязычными нейросетями.

Наша конечная цель — создание надёжных интеллектуальных систем для решения разноплановых задач на русском языке, которые могут стать предшественниками сильного искусственного интеллекта отечественной сборки, — отметил исполнительный вице-президент Сбербанка, CTO Сбера, руководитель блока «Технологии» Давид Рафаловский.