Yandex B2B Tech представила рекомендации по безопасной разработке ИИ-агентов и мультиагентных систем

Yandex B2B Tech опубликовала руководство по снижению рисков при разработке и внедрении ИИ-агентов на базе больших языковых моделей (LLM).

В документе описан подход для разработки модели угроз при внедрении ИИ-агентов и практические рекомендации по снижению рисков безопасности при создании мультиагентных систем. Рекомендации разработаны с учетом опыта создания агентов для ML, Security и других сервисов и бизнесов Яндекса, которые уже используют агентную систему и генеративные технологии компании.

В документе описаны  угрозы и методы защиты для ключевых компонентов ИИ-агентов: самих генеративных моделей, а также модулей и баз знаний, которые используются при работе разрабатываемых ИИ-продуктов. Особое внимание уделено безопасности данных и предотвращению рисков, возникающих из-за автономности агентов.

ИИ-агенты — это новый этап развития искусственного интеллекта. Если обычные ИИ-модели просто отвечают на запросы, то агенты способны самостоятельно действовать в цифровой среде. И нам, как поставщику технологий, важно отслеживать и тестировать все потенциальные риски их применения. Поскольку   агенты опираются на данные от пользователей, среди которых могут быть и злоумышленники, существует набор рисков, на которые нужно обращать внимание при их разработке и внедрении. Мы активно используем агентную систему в собственных сервисах, непрерывно работаем над методологией защиты и делимся своими наработками с ИБ-сообществом, – рассказал Евгений Сидоров, директор по безопасности платформы Yandex Cloud.

Автономные или взаимодействующие между собой ИИ-агенты создаются и развиваются в сервисах Яндекса с учётом принципов безопасной разработки на всех этапах — от проектирования до внедрения. Команды безопасности ещё на стадии проектирования изучают будущую архитектуру и проверяет её на безопасность. Затем специалисты тестируют код на возможные уязвимости и проверяют на соответствие стандартам безопасной разработки.

Яндекс также изучает возможные способы атак на нейросети и разрабатывает защиту от потенциальных угроз. Антиробот Яндекса защищает ИИ-сервисы от злоупотребления и эксплуатации уязвимостей. Сервис Smart Web Security теперь содержит ML WAF — технологию для защиты от веб-атак на основе машинного обучения, которая позволяет блокировать веб-атаки. Центр мониторинга выявляет угрозы и анализирует подозрительную активность в инфраструктуре. Ещё один инструмент для проверки и усиления безопасности ИИ — направление программы Яндекса «Охоты за ошибками», связанное с генеративными нейросетями.

При подготовке руководства были учтены лучшие практики международных организаций, включая OWASP, NIST и MITRE. Рекомендации уже доступны для ознакомления на сайте Yandex Cloud.