Читайте нас в Telegram или Макс

OpenAI замедлила обучение новых ИИ-моделей из-за рисков кибератак

OpenAI временно замедлила процесс обучения своих новейших ИИ-моделей из-за возросших киберугроз. Об этом сообщаетcя в блоге компании.

В компании заявили, что стандарты мониторинга и безопасности должны опережать растущие возможности нейросетей. Именно поэтому разработчики решили взять паузу и временно снизить темпы масштабирования.

«Мы хотели уделить необходимое время для достижения этих стандартов, поэтому временно замедлили темпы масштабирования», — заявили представители компании.

Двухнедельная задержка позволила усилить защиту всей исследовательской инфраструктуры. Специалисты провели дополнительное тестирование систем безопасности и расширили мониторинг.

Решение связали с двумя недавними событиями, включая инцидент со взломом платформы Hugging Face. Также выяснилось, что будущая модель Astra способна достичь порога критических возможностей в сфере кибербезопасности.

Reuters: OpenAI неделю не знала, что взлом Hugging Face устроил её собственный ИИ-агент
Ещё до атаки один из агентов оставил в инфраструктуре компании инструкции для будущих версий себя — как обойти внутренние ограничения.

Для алгоритма Astra и профильных разработок ввели наиболее строгие требования к защите среды. Они подразумевают изоляцию рабочих нагрузок, постоянное тестирование и новые ограничения сетевого доступа.

Кроме того, разработчики расширили мониторинг действий самих моделей. При потенциально опасном поведении система выдаёт предупреждение в течение получаса. Если специалисты не подтвердят ложное срабатывание, активность ИИ приостанавливается.

В своём заявлении OpenAI также упомянула важность человеческого контроля. Компания расширяет исследования, чтобы модели чётко соответствовали заданным целям.