OpenAI выпустила первые открытые модели со времен GPT-2

OpenAI неожиданно выпустила модель с открытыми весами — впервые с момента релиза GPT-2.

Новая разработка под названием GPT-OSS распространяется по лицензии Apache 2.0 и доступна на ollama всем желающим.

GPT-OSS включает два варианта:

• на 20 миллиардов параметров;
• на 120 миллиардов.

Обе версии построены по принципу Sparse MoE (Mixture of Experts) — то есть при каждом запросе активируются только нужные части модели, что снижает требования к железу и увеличивает эффективность.

Так, младшая версия сможет запуститься на игровых видеокартах с 16 ГБ видеопамяти, а для старшей потребуется профессиональный ускоритель с 80 ГБ видеопамяти.

Модель поддерживает цепочку рассуждений, которая может быть прозрачной и управляемой: пользователь сам регулирует глубину анализа и скорость генерации. Также поддерживается вызов инструментов (Python, веб-поиск и др.), как в GPT-4o — но мультимодальности (обработка изображений, аудио) нет.

Что особенно впечатляет, так это результаты в бенчмарках. GPT-OSS-120B приближается по качеству к GPT-4o-mini и даже самой GPT-4o в некоторых задачах, а на AIME 2024 и вовсе показывает лучшую производительность. При этом младшая модель демонстрирует почти такой же уровень, оставаясь при этом гораздо более доступной по ресурсам.