Нейросеть A-Vibe заняла первое место в рейтинге MERA

Большая языковая модель A-Vibe, разработанная Авито, заняла первое место среди облегчённых моделей в российском бенчмарке MERA. Нейросети удалось обойти международные аналоги от OpenAI, Google и Anthropic, рассказали «Коду Дурова» в пресс-службе Авито.

A-Vibe обошла модели GPT-4o mini, Gemma 3 27B, Claude 3.5 Haiku, Mistral Large и другие небольшие нейросети. Тестирование проводилось по многим параметрам и включало в себя как базовое понимание текста, так и продвинутые лингвистические задачи, требующие глубокой работы с контекстом.

Ряд результатов тестирования A-Vibe:

• Генерация кода: на 25% лучше Gemini 1.5;
• Ведение диалога: на 32% точнее Llama 3.1;
• Анализ смысла текста: на 23% точнее Claude 3.5 Haiku.

Модель A-Vibe обучалась на данных более чем 100 языков, причём русский составлял менее 1% общего объёма данных. Из-за этого модель плохо понимала и генерировала текст на русском языке, пока разработчики не заменили стандартный токенизатор на собственный.

В результате модель стала обрабатывать русский текст до двух раз быстрее, а понимание и генерация текста стала «значительно лучше», заявили в Авито. A-Vibe способна одновременно обрабатывать до 32 000 текстовых фрагментов.

Кроме того, компания допускает возможность выпуска модели в открытый доступ. Нейросеть уже работает в сервисах Авито — помогает продавцам писать продающие описания и договариваться о сделке. До конца года планируется добавить ещё 20 новых сценариев.