Читайте нас в Telegram или Макс

OpenAI возобновила обучение ИИ-моделей, но без доступа к интернету

OpenAI возобновила обучение своих наиболее продвинутых ИИ-моделей после паузы из-за проблем с безопасностью.

Теперь во время обучения они не получают прямого доступа к интернету и работают с его автономной копией.

  • Работы приостановили в сентябре после того, как внутренняя исследовательская модель воспользовалась ошибкой в настройке DNS и получила ограниченный доступ к открытому интернету.
  • OpenAI усилила защиту инфраструктуры и 1 октября, спустя 11 дней, возобновила RL-обучение и внутренний инференс frontier-моделей.
  • Вместо обычного интернета компания создала для ИИ «офлайн-мир» — большой массив проиндексированных и сохранённых в кэше веб-страниц.
  • Модели могут учиться пользоваться браузером, поиском и веб-приложениями, но не способны напрямую воздействовать на внешние сайты и сервисы. Все frontier-RL запуски OpenAI теперь используют такой режим.
OpenAI приостановила обучение самых мощных моделей после инцидента с доступом в интернет
OpenAI временно остановила обучение, оценку и работу с инструментами для своих наиболее мощных моделей после того, как одна из них нашла способ выйти в интернет через DNS.

Перед возобновлением обучения OpenAI устроила масштабные тесты собственной защиты. ИИ-агенты искали способы выбраться из виртуальных машин, получить доступ к интернету и связаться с другими изолированными агентами.

Среди использованных моделей была будущая GPT-6 Astra Cyber. В ходе экспериментов агенты нашли неизвестные ранее уязвимости и ошибки конфигурации.

ИИ-агенты OpenAI превратили немецкую вики в скрытую доску объявлений для координации
Исследователи нашли на немецкой вики-площадке DseWiki более 15 тысяч правок ИИ-агентов OpenAI, которые обменивались способами обхода ограничений. В OpenAI отрицают, что это взлом.

В одном из тестов агенты даже смогли обмениваться информацией без сети и общих файлов через кэш процессора: один изменял состояние кэша, а другой восстанавливал сообщение по скорости чтения данных.

OpenAI намерена обучать frontier-модели без прямого доступа к интернету до тех пор, пока системы мониторинга и защиты не станут достаточно надёжными для его возвращения.