OpenAI столкнулась с нехваткой данных для обучения GPT-5

Разработчики искусственного интеллекта столкнулись с нехваткой качественных данных для обучения моделей, в том числе для будущего GPT-5.

Исследователи выражают обеспокоенность по поводу возможного замедления развития отрасли из-за дефицита текстовых материалов. Особенно это касается данных, блокируемых некоторыми ресурсами для ИИ. Учёные подчеркивают, что обучение ИИ на материалах других моделей может привести к проблемам с качеством.

OpenAI рассматривает возможность использования транскрипций с YouTube для обучения GPT-5. Это становится актуальным на фоне предупреждений о том, что уже к середине 2024 года ИИ может столкнуться с серьёзным дефицитом данных. Для обучения модели GPT-5 потребуется от 60 до 100 триллионов токенов данных, в то время как весь интернет может предоставить на 10-20 триллионов токенов меньше необходимого.

Проблема усугубляется тем, что большинство данных в интернете непригодны для обучения ИИ. Ограничен доступ к информации на крупных платформах, а использование личной переписки людей вызывает опасения по поводу конфиденциальности.

В ответ на эти вызовы, компании исследуют новые методы обучения и возможности создания рынка данных. OpenAI и Anthropic экспериментируют с «высококачественными синтетическими данными», которые могут стать альтернативой для обучения будущих ИИ-моделей. Такие данные уже использовались в последних версиях Claude от Anthropic.

Неопределённость относительно будущего искусственного интеллекта остаётся, но исследователи сохраняют оптимизм, веря в возможность революционных открытий в области обработки и анализа данных для обучения ИИ.