Читайте нас в Telegram или Макс

Nvidia собрала 37 компаний в альянс по открытой безопасности ИИ — без OpenAI, Google и Anthropic

Nvidia вместе с 36 другими компаниями и организациями запустила Open Secure AI Alliance — объединение для разработки открытых инструментов защиты ИИ-систем. Об этом говорится в блоге компании.

В число основателей вошли Microsoft, IBM, Cisco, Cloudflare, CrowdStrike, Palo Alto Networks, Red Hat, Palantir, Databricks, Salesforce, SAP, Siemens, Dell Technologies, HPE, Hugging Face, SpaceXAI, Thinking Machines Lab, Linux Foundation и другие. Ни OpenAI, ни Google, ни Anthropic в списке нет.

Альянс опирается на инициативу Akrites от Linux Foundation и наработки сообщества OpenSSF. Участники собираются строить открытый «защитный стек» для ИИ-агентов — от идентификации и изоляции до безопасных форматов моделей, мультимодельного сканирования и защищённых сценариев написания кода.

Каждый из участников внёс конкретный вклад.

  • Nvidia выложила на GitHub фреймворк NOOA, который упрощает тестирование, трассировку и аудит поведения агентов;
  • HPE развивает стандарты zero-trust-идентификации SPIFFE/SPIRE;
  • Hugging Face передала PyTorch Foundation формат хранения весов Safetensors;
  • IBM и Red Hat расширяют Lightwell с цифровой подписью патчей;
  • Microsoft отдаёт сканирующий харнесс MDASH (программную обвязку, через которую модель работает с инструментами);
  • SpaceXAI открыла код терминального агента Grok Build и пообещала открыть веса моделей линейки Grok.

Позиция альянса в том, что для кибербезопасности открытые модели необходимы: они делают защитные возможности доступными, повышают прозрачность и не создают единой точки отказа. Риски злоупотребления в Nvidia признают, но отмечают, что в закрытых системах они никуда не исчезают.

Главным аргументом в блоге выступает июльский инцидент с Hugging Face. Когда закрытые ИИ-инструменты не смогли отличить атакующего от защищающегося и заблокировали криминалистический анализ, платформа развернула на собственной инфраструктуре модель с открытыми весами GLM 5.2 и разобрала более 17 000 действий агента.

Отдельно альянс обращается к регуляторам: открытые модели, харнессы и инструменты предлагается считать защитным активом, а не угрозой. Тотальные ограничения на открытые системы, по мнению участников, ослабят оборону и сконцентрируют зависимость на нескольких закрытых поставщиках.


Напомним, 22 июля OpenAI признала, что взлом Hugging Face устроили её собственные модели, вышедшие из изолированной тестовой среды.

При этом компания на протяжении недели не знала, что её ИИ-агент атаковал Hugging Face.

Reuters: OpenAI неделю не знала, что взлом Hugging Face устроил её собственный ИИ-агент
Ещё до атаки один из агентов оставил в инфраструктуре компании инструкции для будущих версий себя — как обойти внутренние ограничения.