Читайте в Telegram
|
На AI Journey 2025 был официально представлен MERA Multi – новый бенчмарк для комплексной оценки мультимодальных способностей современных моделей на русском языке.
Бенчмарки экосистемы MERA – это независимая система тестов для проверки возможностей больших языковых моделей на русском языке. Ранние версии MERA включали текстовые тесты и специализированные разделы (например, MERA Code для задач программирования и MERA Industrial для отраслевых сценариев).
MERA Multi включает 18 новых задач, разработанных по методологии бенчмарка MERA Text. Эти задачи проверяют ключевые мультимодальные умения моделей:
- Визуальное восприятие: способность анализировать изображения – распознавать объекты, интерпретировать сцены и соотносить их с текстовым описанием. Это важно для систем генерации и поиска по картинкам, а также для применения ИИ в системах безопасности.
- Аудиопонимание: способность обрабатывать аудиоконтент на русском языке – распознавать речь, интонации и звуковые сигналы. Этот навык нужен для голосовых ассистентов и приложений, работающих в шумной среде.
- Анализ видео: умение ИИ «понимать» динамику видеоконтента – отслеживать действия, события и причинно-следственные связи во временном контексте. Это основа для интеллектуальных ассистентов, агентов и мультимодального поиска.
Каждая задача оформлена в строгом инструктивном формате. MERA Multi охватывает четыре модальности – текст (как базовая), изображения, аудио и видео – и оснащен прозрачной системой подсчёта баллов и рейтингов. Для исследователей и индустрии это значит, что теперь можно количественно сравнивать насколько хорошо современные модели «видят», «слышат» и понимают контент на русском языке.
Проект MERA Multi также способствует стандартизации оценки ИИ в России. Разработчики создали единую «таксономию навыков» – системное описание компетенций, нужных для мультимодальных задач. В перспективе все бенчмарки MERA будут использовать одну систему навыков, что обеспечивает «согласованную и прозрачную оценку моделей во всех доменах». Такой единый подход упрощает сравнение моделей между собой и выявление направлений для улучшения.
Кроме того, MERA Multi разработан экспертами с учётом российской специфики – это делает результаты особенно релевантными для отечественных научных групп и индустриальных разработчиков.
По словам Валерии Воробьёвой стандартизация критически важна:
«Единый подход к оценке моделей позволяет формировать общую «шкалу» качества и координировать усилия внутри страны. MERA Multi создаёт такой стандарт – он даёт российским разработчикам и исследователям понятную методологию сравнения моделей и синхронизирует наши усилия. Это ключевой шаг для развития качественных отечественных ИИ-решений в будущем».
