Moonshot опубликовала веса Kimi K3 — самой крупной открытой ИИ-модели с 2,8 трлн параметров
Кодик кратко объясняет суть статьи
Компания Moonshot AI выпустила Kimi K3 — крупнейшую на сегодняшний день открытую языковую модель с 2,8 трлн параметров, использующую архитектуру Mixture-of-Experts (MoE), где на каждый токен задействуется около 104 млрд параметров за счёт активации 16 из 896 экспертов. Модель построена на собственной архитектуре внимания Delta Attention с Attention Residuals, что обеспечило рост эффективности масштабирования в 2,5 раза по сравнению с предыдущей версией Kimi K2. Kimi K3 поддерживает контекстное окно до 1 млн токенов и обрабатывает изображения и видео благодаря визуальному энкодеру MoonViT-V2. В бенчмарках модель демонстрирует результаты, сопоставимые с флагманами от OpenAI и Anthropic: 93,5 балла в GPQA Diamond и 88,3 — в Terminal-Bench 2.1. Полная версия модели занимает около 1,4 ТБ, требует для инференса до восьми GPU уровня Nvidia H100, но также доступна в квантованной версии MXFP4 (594 ГБ), сохраняющей качество облачной версии. Веса опубликованы на Hugging Face под лицензией Kimi K3 License. Модель доступна через чат-бот Kimi, инструменты Kimi Code и Kimi Work, а также по API по ставкам $3 и $15 за миллион входных и выходных токенов. Первая презентация состоялась 16 июля, публикация весов — 27 июля.
Читайте в Telegram
|
Компания Moonshot AI опубликовала на Hugging Face полные веса модели Kimi K3 — крупнейшей на сегодняшний день открытой языковой модели.
У Kimi K3 2,8 трлн параметров, но при обработке каждого токена задействуется лишь около 104 млрд из них — модель построена на архитектуре Mixture-of-Experts, где из 896 экспертов на каждый токен одновременно включаются только 16.
Собственную архитектуру внимания Kimi Delta Attention в сочетании с Attention Residuals в Moonshot называют источником примерно 2,5-кратного прироста эффективности масштабирования по сравнению с предыдущей моделью Kimi K2.
Модель поддерживает контекстное окно до 1 млн токенов и нативно работает с изображениями и видео благодаря визуальному энкодеру MoonViT-V2. В собственных бенчмарках компании Kimi K3 показывает результаты на уровне флагманов конкурентов — например, 93,5 балла в GPQA Diamond (у GPT-5.6 Sol — 94,1, у Claude Opus 4.8 — 91) и 88,3 балла в Terminal-Bench 2.1 против 88,8 у GPT-5.6 Sol.
Развернуть модель локально можно только на серверном оборудовании: по оценкам сторонних разработчиков, полная версия весит около 1,4 ТБ, а для инференса в базовой точности нужно порядка восьми ускорителей уровня Nvidia H100. Есть и облегчённая квантованная версия MXFP4 — она занимает около 594 ГБ и, по словам разработчиков, идентична по качеству версии, которая используется в облачном API компании.
Веса опубликованы под собственной лицензией Kimi K3 License. Модель также доступна через чат-бот Kimi, инструменты Kimi Code и Kimi Work, а также по API — по $3 и $15 за миллион входных и выходных токенов соответственно.
Moonshot впервые представила Kimi K3 16 июля, писал «Код Дурова». Подробности читайте на нашем сайте.
