Большая языковая модель A-Vibe, разработанная Авито, заняла первое место среди облегчённых моделей в российском бенчмарке MERA. Нейросети удалось обойти международные аналоги от OpenAI, Google и Anthropic, рассказали «Коду Дурова» в пресс-службе Авито.
A-Vibe обошла модели GPT-4o mini, Gemma 3 27B, Claude 3.5 Haiku, Mistral Large и другие небольшие нейросети. Тестирование проводилось по многим параметрам и включало в себя как базовое понимание текста, так и продвинутые лингвистические задачи, требующие глубокой работы с контекстом.
Ряд результатов тестирования A-Vibe:
- Генерация кода: на 25% лучше Gemini 1.5;
- Ведение диалога: на 32% точнее Llama 3.1;
- Анализ смысла текста: на 23% точнее Claude 3.5 Haiku.
Модель A-Vibe обучалась на данных более чем 100 языков, причём русский составлял менее 1% общего объёма данных. Из-за этого модель плохо понимала и генерировала текст на русском языке, пока разработчики не заменили стандартный токенизатор на собственный.
В результате модель стала обрабатывать русский текст до двух раз быстрее, а понимание и генерация текста стала «значительно лучше», заявили в Авито. A-Vibe способна одновременно обрабатывать до 32 000 текстовых фрагментов.
Кроме того, компания допускает возможность выпуска модели в открытый доступ. Нейросеть уже работает в сервисах Авито — помогает продавцам писать продающие описания и договариваться о сделке. До конца года планируется добавить ещё 20 новых сценариев.
Читать первым в Telegram-канале «Код Дурова»
