Языковые модели SberDevices признали лучшими по пониманию текстов на русском языке

Текстовая модель ruRoberta-large finetune, разработанная SberDevices, признана лучшей по пониманию текста в соответствии с оценкой главного русскоязычного бенчмарка для оценки больших текстовых моделей Russian SuperGLUE, сообщили «Коду Дурова» в пресс-службе «Сбера». В этом рейтинге модель уступает по точности только человеку.

Кроме того, в шестерку лидеров вошли еще четыре модели от SberDevices:

В компании пояснили, что ruRoBERTa — это архитектурно тот же BERT, обученный на большом корпусе текста, только на задачу восстановления маскированных токенов, на большом батч-сайзе и с токенизатором BBPE от нейросети ruGPT-3. Отмечается, что обучение модели на суперкомпьютере «Кристофари» заняло три недели.

Наша конечная цель — создание надёжных интеллектуальных систем для решения разноплановых задач на русском языке, которые могут стать предшественниками сильного искусственного интеллекта отечественной сборки, — отметил исполнительный вице-президент Сбербанка, CTO Сбера, руководитель блока «Технологии» Давид Рафаловский.