Нейросеть Яндекса YandexGPT 2 смогла получить проходной балл ЕГЭ по литературе

Яндекс сообщил об успешной сдаче ЕГЭ по литературе своей языковой моделью YandexGPT 2, которая показала результаты, приближенные к среднему баллу российских школьников.

Средний балл модели составил 55, что выше минимального порога в 40 баллов, необходимого для поступления в вуз. Это первый случай в России, когда искусственный интеллект успешно справился с ЕГЭ, включая выполнение творческих заданий.

Эксперимент подчёркивает сложность задачи, так как экзамен оценивает не только знания, но и стиль письма, эрудицию и творческие способности.

Стандартным тестом для оценки эрудиции языковых моделей в мире считается MMLU: он включает вопросы разной степени сложности из 57 областей знания. Так можно объективно сравнить несколько нейросетей, но нельзя оценить качество их ответов на открытые или творческие вопросы. Именно поэтому мы предложили YandexGPT 2 сдать ЕГЭ по литературе, — пояснил технический директор «Поиска» Яндекса Алексей Гусаков.

Для чистоты эксперимента были использованы варианты ЕГЭ из тренировочных экзаменов 2021–2023 годов, при этом было подтверждено, что обучающие данные YandexGPT не содержат ответов на эти вопросы.

Как отмечают в компании, этот успех подчёркивает значительные улучшения, внесённые в YandexGPT 2, которая теперь может решать более широкий спектр задач с улучшенным качеством ответов.