Читайте в Telegram
|
OpenAI возобновила обучение своих наиболее продвинутых ИИ-моделей после паузы из-за проблем с безопасностью.
Теперь во время обучения они не получают прямого доступа к интернету и работают с его автономной копией.
- Работы приостановили в сентябре после того, как внутренняя исследовательская модель воспользовалась ошибкой в настройке DNS и получила ограниченный доступ к открытому интернету.
- OpenAI усилила защиту инфраструктуры и 1 октября, спустя 11 дней, возобновила RL-обучение и внутренний инференс frontier-моделей.
- Вместо обычного интернета компания создала для ИИ «офлайн-мир» — большой массив проиндексированных и сохранённых в кэше веб-страниц.
- Модели могут учиться пользоваться браузером, поиском и веб-приложениями, но не способны напрямую воздействовать на внешние сайты и сервисы. Все frontier-RL запуски OpenAI теперь используют такой режим.
Перед возобновлением обучения OpenAI устроила масштабные тесты собственной защиты. ИИ-агенты искали способы выбраться из виртуальных машин, получить доступ к интернету и связаться с другими изолированными агентами.
Среди использованных моделей была будущая GPT-6 Astra Cyber. В ходе экспериментов агенты нашли неизвестные ранее уязвимости и ошибки конфигурации.
В одном из тестов агенты даже смогли обмениваться информацией без сети и общих файлов через кэш процессора: один изменял состояние кэша, а другой восстанавливал сообщение по скорости чтения данных.
OpenAI намерена обучать frontier-модели без прямого доступа к интернету до тех пор, пока системы мониторинга и защиты не станут достаточно надёжными для его возвращения.
