Языковые модели SberDevices признали лучшими по пониманию текстов на русском языке
Языковые модели SberDevices признали лучшими по пониманию текстов на русском языке

Языковые модели SberDevices признали лучшими по пониманию текстов на русском языке

25 августа, 20211 минута на чтение
Подписывайтесь на [Код // Дурова] в Telegram[Код // Дурова] в Telegram

Текстовая модель ruRoberta-large finetune, разработанная SberDevices, признана лучшей по пониманию текста в соответствии с оценкой главного русскоязычного бенчмарка для оценки больших текстовых моделей Russian SuperGLUE, сообщили «Коду Дурова» в пресс-службе «Сбера». В этом рейтинге модель уступает по точности только человеку.

Кроме того, в шестерку лидеров вошли еще четыре модели от SberDevices:

Источник

В компании пояснили, что ruRoBERTa — это архитектурно тот же BERT, обученный на большом корпусе текста, только на задачу восстановления маскированных токенов, на большом батч-сайзе и с токенизатором BBPE от нейросети ruGPT-3. Отмечается, что обучение модели на суперкомпьютере «Кристофари» заняло три недели.

Что такое Russian SuperGLUE?

Лидерборд Russian SuperGLUE (General Language Understanding Evaluation) — первый рейтинг нейросетей для русского языка. Место в рейтинге зависит от того, насколько качественно нейросеть выполняет задания на логику, здравый смысл, целеполагание и понимание смысла текста. Это открытый проект, которым пользуются все исследователи данных, работающие с русскоязычными нейросетями.

Наша конечная цель — создание надёжных интеллектуальных систем для решения разноплановых задач на русском языке, которые могут стать предшественниками сильного искусственного интеллекта отечественной сборки, — отметил исполнительный вице-президент Сбербанка, CTO Сбера, руководитель блока «Технологии» Давид Рафаловский.
25 августа, 2021
Подписывайтесь на [Код // Дурова] в Telegram[Код // Дурова] в Telegram
Показать все

Выбор редакции