Yandex B2B Tech представила рекомендации по безопасной разработке ИИ-агентов и мультиагентных систем
ГигаЧат кратко объясняет суть статьи
Yandex B2B Tech выпустила руководство по минимизации рисков при разработке и внедрении ИИ-агентов на основе больших языковых моделей. Документ описывает методологию оценки угроз и предлагает меры безопасности для ключевых элементов ИИ-систем: генеративных моделей, модулей и баз знаний. Особое внимание уделяется защите данных и предотвращению рисков, связанных с автономностью агентов. В руководстве отражён опыт Яндекса по созданию и использованию агентной системы в собственных продуктах, включая тестирование архитектуры, проверку кода и разработку инструментов защиты от возможных атак. Среди используемых решений — антиробот, ML WAF и программа «Охота за ошибками». Методология соответствует международным практикам OWASP, NIST и MITRE.
Yandex B2B Tech опубликовала руководство по снижению рисков при разработке и внедрении ИИ-агентов на базе больших языковых моделей (LLM).
В документе описан подход для разработки модели угроз при внедрении ИИ-агентов и практические рекомендации по снижению рисков безопасности при создании мультиагентных систем. Рекомендации разработаны с учетом опыта создания агентов для ML, Security и других сервисов и бизнесов Яндекса, которые уже используют агентную систему и генеративные технологии компании.
В документе описаны угрозы и методы защиты для ключевых компонентов ИИ-агентов: самих генеративных моделей, а также модулей и баз знаний, которые используются при работе разрабатываемых ИИ-продуктов. Особое внимание уделено безопасности данных и предотвращению рисков, возникающих из-за автономности агентов.
ИИ-агенты — это новый этап развития искусственного интеллекта. Если обычные ИИ-модели просто отвечают на запросы, то агенты способны самостоятельно действовать в цифровой среде. И нам, как поставщику технологий, важно отслеживать и тестировать все потенциальные риски их применения. Поскольку агенты опираются на данные от пользователей, среди которых могут быть и злоумышленники, существует набор рисков, на которые нужно обращать внимание при их разработке и внедрении. Мы активно используем агентную систему в собственных сервисах, непрерывно работаем над методологией защиты и делимся своими наработками с ИБ-сообществом, – рассказал Евгений Сидоров, директор по безопасности платформы Yandex Cloud.
Автономные или взаимодействующие между собой ИИ-агенты создаются и развиваются в сервисах Яндекса с учётом принципов безопасной разработки на всех этапах — от проектирования до внедрения. Команды безопасности ещё на стадии проектирования изучают будущую архитектуру и проверяет её на безопасность. Затем специалисты тестируют код на возможные уязвимости и проверяют на соответствие стандартам безопасной разработки.
Яндекс также изучает возможные способы атак на нейросети и разрабатывает защиту от потенциальных угроз. Антиробот Яндекса защищает ИИ-сервисы от злоупотребления и эксплуатации уязвимостей. Сервис Smart Web Security теперь содержит ML WAF — технологию для защиты от веб-атак на основе машинного обучения, которая позволяет блокировать веб-атаки. Центр мониторинга выявляет угрозы и анализирует подозрительную активность в инфраструктуре. Ещё один инструмент для проверки и усиления безопасности ИИ — направление программы Яндекса «Охоты за ошибками», связанное с генеративными нейросетями.
При подготовке руководства были учтены лучшие практики международных организаций, включая OWASP, NIST и MITRE. Рекомендации уже доступны для ознакомления на сайте Yandex Cloud.
Читать первым в Telegram-канале «Код Дурова»
