Moonshot опубликовала веса Kimi K3 — самой крупной открытой ИИ-модели с 2,8 трлн параметров

Компания Moonshot AI опубликовала на Hugging Face полные веса модели Kimi K3 — крупнейшей на сегодняшний день открытой языковой модели.

У Kimi K3 2,8 трлн параметров, но при обработке каждого токена задействуется лишь около 104 млрд из них — модель построена на архитектуре Mixture-of-Experts, где из 896 экспертов на каждый токен одновременно включаются только 16.

Собственную архитектуру внимания Kimi Delta Attention в сочетании с Attention Residuals в Moonshot называют источником примерно 2,5-кратного прироста эффективности масштабирования по сравнению с предыдущей моделью Kimi K2.

Модель поддерживает контекстное окно до 1 млн токенов и нативно работает с изображениями и видео благодаря визуальному энкодеру MoonViT-V2. В собственных бенчмарках компании Kimi K3 показывает результаты на уровне флагманов конкурентов — например, 93,5 балла в GPQA Diamond (у GPT-5.6 Sol — 94,1, у Claude Opus 4.8 — 91) и 88,3 балла в Terminal-Bench 2.1 против 88,8 у GPT-5.6 Sol.

Развернуть модель локально можно только на серверном оборудовании: по оценкам сторонних разработчиков, полная версия весит около 1,4 ТБ, а для инференса в базовой точности нужно порядка восьми ускорителей уровня Nvidia H100. Есть и облегчённая квантованная версия MXFP4 — она занимает около 594 ГБ и, по словам разработчиков, идентична по качеству версии, которая используется в облачном API компании.

Веса опубликованы под собственной лицензией Kimi K3 License. Модель также доступна через чат-бот Kimi, инструменты Kimi Code и Kimi Work, а также по API — по $3 и $15 за миллион входных и выходных токенов соответственно.

Moonshot впервые представила Kimi K3 16 июля, писал «Код Дурова». Подробности читайте на нашем сайте.