Развитие ИИ-моделей OpenAI замедлилось из-за дефицита данных для обучения
Кодик кратко объясняет суть статьи
Новая языковая модель Orion от OpenAI показывает умеренный прогресс по сравнению с предыдущими версиями, достигнув примерно уровня GPT-4 после завершения 20% обучения. Несмотря на улучшение результатов, её производительность в написании кода уступает предшественникам. Проблему дефицита данных для обучения решает команда разработчиков, рассматривающая применение синтетической информации, создаваемой другими ИИ. Модель планируют выпустить в декабре 2024 года, ограничив доступ компаниями-партнёрами. В обучении Orion уже используются данные, созданные моделью o1 (Strawberry).
Читайте в Telegram
|
Тестировщики OpenAI выявили, что новая языковая модель под кодовым именем Orion демонстрирует улучшенные результаты по сравнению с предыдущими моделями, но её прогресс оказался менее впечатляющим, чем переход от GPT-3 к GPT-4.
Об этом сообщает издание The Information, на которое ссылается TechCrunch. На текущий момент модель Orion завершила лишь 20% этапа обучения, но уже по ряду показателей приблизилась к уровню GPT-4. Однако её производительность в задачах по написанию кода остаётся ниже, чем у предшественников. Основной проблемой OpenAI называет недостаток данных для дальнейшего обучения модели.
Для решения проблемы нехватки данных компания сформировала специальную команду, которая исследует альтернативные подходы к развитию модели. В частности, рассматривается использование синтетических данных, генерируемых другими ИИ, что может компенсировать дефицит качественных текстов для обучения.
Согласно данным The Verge, OpenAI планирует выпустить Orion в декабре 2024 года, но, в отличие от GPT-4o и o1, новая модель не будет доступна по подписке ChatGPT. В первую очередь доступ к Orion получат компании-партнёры.
Ранее, в августе 2024 года, The Information сообщало, что для обучения Orion используются данные, генерируемые другой моделью — o1, известной также под названием Strawberry. Это позволяет частично решить проблему с недостатком обучающей информации.
