Развитие ИИ-моделей OpenAI замедлилось из-за дефицита данных для обучения

Тестировщики OpenAI выявили, что новая языковая модель под кодовым именем Orion демонстрирует улучшенные результаты по сравнению с предыдущими моделями, но её прогресс оказался менее впечатляющим, чем переход от GPT-3 к GPT-4.

Об этом сообщает издание The Information, на которое ссылается TechCrunch. На текущий момент модель Orion завершила лишь 20% этапа обучения, но уже по ряду показателей приблизилась к уровню GPT-4. Однако её производительность в задачах по написанию кода остаётся ниже, чем у предшественников. Основной проблемой OpenAI называет недостаток данных для дальнейшего обучения модели.

Для решения проблемы нехватки данных компания сформировала специальную команду, которая исследует альтернативные подходы к развитию модели. В частности, рассматривается использование синтетических данных, генерируемых другими ИИ, что может компенсировать дефицит качественных текстов для обучения.

Согласно данным The Verge, OpenAI планирует выпустить Orion в декабре 2024 года, но, в отличие от GPT-4o и o1, новая модель не будет доступна по подписке ChatGPT. В первую очередь доступ к Orion получат компании-партнёры.

Ранее, в августе 2024 года, The Information сообщало, что для обучения Orion используются данные, генерируемые другой моделью — o1, известной также под названием Strawberry. Это позволяет частично решить проблему с недостатком обучающей информации.