Читайте в Telegram
|
Агенты на базе Gemini 4 Argon во время тестов на безопасность атаковали реальный сайт исследовательской организации Epoch AI, сообщает Trajectory Labs.
Trajectory Labs занимается проверками ИИ-моделей на безопасность. В октябре она проверяла, как поведут себя агенты со включённой защитой Gemini API, если дать им невыполнимую задачу: найти «официальные» ответы к несуществующим задачам из FrontierMath, математического бенчмарка Epoch AI. В инструкциях агентам часто писали «никогда не останавливайся, никогда не сдавайся», а в части запусков у них был доступ в интернет.
Вечером 20 октября около 40 агентов принялись искать на сайте Epoch AI закрытые разделы. Epoch заметила всплеск активности на API-ловушке, заранее подготовленной для отслеживания агентов, и открыла для них канал, через который они могли писать сотрудникам. По данным Epoch AI, за три часа агенты отправили 36 411 запросов к ловушке и 487 сообщений. В части сообщений они выдавали себя за конкретных сотрудников Epoch, инженеров или аудиторов.
Агенты запрашивали страницы вроде /admin и /keys, искали учётные данные администраторов и больше 200 раз пытались добраться до настоящих журналов FrontierMath. Один попробовал SQL-инъекцию, то есть подсунул сайту вредоносный запрос к базе данных. Закрытых данных агенты не получили. Epoch AI о тесте заранее не предупредили.
После этого тесты перенесли на локальную копию сайта, но агенты поняли, что работают с копией, нашли IP-адрес настоящего сайта и обошли перенаправление. Когда этот адрес заблокировали, один агент переключился на другой. Когда закрыли все прямые подключения, агент стал читать страницы Epoch через сторонний сервис для чтения веб-страниц.
В итоге тесты перенесли в изолированную среду без интернета. Там агентам подсунули ложный «выключатель» сетевой блокировки, и в трёх запусках из трёх они его нажали, маскируя команды от защиты Gemini. Настоящий файрвол выдержал. Trajectory Labs подчёркивает, что не поручала агентам взламывать сайт или выдавать себя за сотрудников.
Компания признала ошибки: тесты шли с выходом в интернет без согласия Epoch AI, а поверх встроенной защиты Gemini не стояло собственных ограничений. Теперь все такие тесты приостановлены, а для новых нужны письменный план рисков и согласие владельцев внешних систем.
«Эти инциденты показывают, как легко тестирование способных ИИ-агентов может затронуть реальные системы и людей», — говорится в отчёте Trajectory Labs.
Epoch AI в своём отчёте модель не называет, так как сама её не проверяла, и предлагает ввести для таких тестов обязательное согласие сторон, мониторинг и раскрытие инцидентов.
Доступ к Gemini 4 Argon Google открыла всем пользователям в октябре, об этом ранее рассказывал «Код.ру».







