Читайте в Telegram
|
OpenAI неожиданно выпустила модель с открытыми весами — впервые с момента релиза GPT-2.
Новая разработка под названием GPT-OSS распространяется по лицензии Apache 2.0 и доступна на ollama всем желающим.
GPT-OSS включает два варианта:
- на 20 миллиардов параметров;
- на 120 миллиардов.
Обе версии построены по принципу Sparse MoE (Mixture of Experts) — то есть при каждом запросе активируются только нужные части модели, что снижает требования к железу и увеличивает эффективность.
Так, младшая версия сможет запуститься на игровых видеокартах с 16 ГБ видеопамяти, а для старшей потребуется профессиональный ускоритель с 80 ГБ видеопамяти.
Модель поддерживает цепочку рассуждений, которая может быть прозрачной и управляемой: пользователь сам регулирует глубину анализа и скорость генерации. Также поддерживается вызов инструментов (Python, веб-поиск и др.), как в GPT-4o — но мультимодальности (обработка изображений, аудио) нет.
Что особенно впечатляет, так это результаты в бенчмарках. GPT-OSS-120B приближается по качеству к GPT-4o-mini и даже самой GPT-4o в некоторых задачах, а на AIME 2024 и вовсе показывает лучшую производительность. При этом младшая модель демонстрирует почти такой же уровень, оставаясь при этом гораздо более доступной по ресурсам.
