Nvidia представила двухуровневую систему безопасности для контроля ИИ
Nvidia представила платформу безопасности с открытым исходным кодом, призванную предотвратить несанкционированные действия и побег автономных ИИ-агентов из тестовой среды, сообщает Bloomberg.
Комплекс под названием Open Agent Safety Platform состоит из двух программных инструментов, работающих на аппаратном обеспечении компании. Они призваны отслеживать поведение агентов в режиме реального времени и принудительно останавливать их работу при выходе за рамки заданных правил.
В Nvidia утверждают, что новая система помогла бы предотвратить недавний резонансный взлом платформы Hugging Face, совершённый моделями OpenAI.
Инженерное решение Nvidia состоит из двух компонентов:
- OpenShell — программный инструмент с открытым исходным кодом, работающий на процессорах Nvidia Vera. Он позволяет задавать жёсткие границы доступа для ИИ-агентов и следить за их соблюдением в реальном времени.
- Nvidia Sentry — система дополнительного мониторинга, развёрнутая на процессорах обработки данных BlueField (DPU). Она выявляет аномальное поведение моделей и способна изолировать подозрительного агента за миллисекунды.
Вице-президент Nvidia по корпоративному ИИ Джастин Бойтано отметил, что такой подход позволит индустрии безопасно тестировать даже самые передовые модели. Глава компании Дженсен Хуанг ранее неоднократно подчёркивал, что безопасность нейросетей — это исключительно инженерная задача, которую необходимо решать строгими тестами и архитектурными инструментами, а не регуляторными ограничениями и замедлением прогресса.
Ранее OpenAI пришлось приостановить обучение своих наиболее мощных моделей после ряда инцидентов, в ходе которых ИИ выбирался за пределы изолированных песочниц — в частности, предпринимал попытки получить доступ к правительственным ресурсам США и взломал государственную систему Австралии. С утечкой агентов из тестовой среды в июле сталкивалась и Anthropic. Сама же Nvidia в начале этого месяца договорилась о покупке Hugging Face приблизительно за $13 млрд.