OpenAI, компания-разработчик ChatGPT, признала, что производительность GPT-4 может ухудшиться в некоторых задачах, поскольку пользователи жалуются, что новая модель «ленивее» и «глупее» по сравнению с предыдущими версиями.
Несмотря на то, что большинство показателей улучшилось, есть задачи, в которых производительность может ухудшиться, – заявила OpenAI в своём блоге в четверг, анонсируя новые обновления.
В последние недели пользователи GPT-4 OpenAI жаловались на снижение производительности по сравнению с предыдущими возможностями модели.
Некоторые выразили свое разочарование в Twitter и на форуме разработчиков OpenAI, указывая на проблемы, включающие ослабленную логику, большее количество ошибочных ответов, потерю предоставленной информации, трудности в выполнении инструкций, забывание добавить фигурные скобки в базовом программном коде и плохое запоминание контекста.
Учёные Стэнфордского университета даже провели исследование, в ходе которого сравнили возможности актуальной версии ИИ с более ранними результатами. Как оказалось, языковая модель действительно стала намного более «глупой» всего за три месяца.
Согласно результатам эксперимента, в период с марта по июнь 2023 года у GPT-4 наблюдалось значительное снижение точности ответов в самых разных сценариях. Например, чат-бота попросили выяснить, является ли число 17 077 простым, добавив к запросу фразу «Думай последовательно». По мнению исследователей, это должно было послужить подсказкой и заставить ИИ поэтапно проработать вопрос, предоставив пошаговое описание. Полученный ответ во многих случаях оказался неверным, к тому же он не сопровождался никакими пояснениями.
В то же время исследователи выяснили, что бесплатная GPT-3.5 версия напротив – стала умнее относительной своей ранней версии.
