ГК Softline: семь угроз, которые приходят в компанию вместе с ИИ
Компании подключают искусственный интеллект к чат-ботам, аналитическим платформам, облачным сервисам, разработке и автоматизации процессов.
Вместе с этим ИИ получает доступ к корпоративным данным и начинает влиять на решения, от которых зависит работа бизнеса.
Скорость внедрения уже опережает развитие контроля, около 70% российских компаний используют ИИ в критически важных бизнес-процессах. Среди компаний, работающих с большими языковыми моделями, или LLM, 42% сталкивались с инцидентами, при этом зрелая модель управления ИИ есть только у 21% организаций, а 68% сотрудников пользуются ИИ-инструментами без согласования с ИТ- и ИБ-подразделениями.
Мы в ГК Softline видим в этих цифрах одну общую проблему: ИИ становится частью бизнес-процессов раньше, чем компания успевает определить правила его использования, зоны ответственности и допустимый уровень риска.
Обычных средств защиты здесь недостаточно, ИИ-система зависит от обучающих данных, запросов пользователей, подключенных сервисов и внешних компонентов. Ее поведение может меняться вместе с данными и условиями эксплуатации. Поэтому защищать нужно весь жизненный цикл системы: от подготовки информации и обучения модели до внедрения, мониторинга и вывода из эксплуатации.
Семь рисков, которые нужно учитывать
Эксперты Softline выделяют семь основных групп угроз для корпоративных ИИ-систем.
1. Отравление данных
Злоумышленник может добавить вредоносные или искаженные данные в обучающую выборку. В результате модель начинает ошибаться, выдавать заданные кем-то ответы или сохраняет скрытую уязвимость.
Проблема особенно опасна тем, что проявляется уже после обучения. Для защиты нужны проверка происхождения и качества данных, их валидация и постоянный контроль процесса обучения.
2. Кража модели
Модель можно попытаться скопировать или восстановить через программный интерфейс, или API, который используется для обращения к ИИ-сервису. Другой вариант — обратная разработка, когда устройство системы восстанавливают по ее поведению и ответам.
Такие атаки угрожают интеллектуальной собственности компании и позволяют использовать разработанное ею решение без разрешения. Снизить риск помогают шифрование, разграничение доступа и мониторинг обращений к модели.
3. Утечки информации
ИИ может раскрыть конфиденциальные сведения из обучающего набора или пользовательских запросов. Сотрудник также способен сам передать внешнему сервису внутренний документ, исходный код, клиентскую базу или другую закрытую информацию.
В Softline мы относим сюда и теневой ИИ: использование сотрудниками инструментов, которые компания не согласовала и не контролирует. Для защиты нужны правила работы с данными, разграничение прав и средства предотвращения утечек.
4. Потеря управляемости
Многие модели работают по принципу «черного ящика»: восстановить логику конкретного ответа бывает трудно. Это осложняет аудит, расследование инцидентов и подтверждение соответствия нормативным требованиям.
Компании необходимо заранее определить, кто отвечает за решения ИИ, как проверяются его ответы и какие действия система может выполнять самостоятельно.
5. Захват вычислительных ресурсов
Инфраструктуру ИИ могут использовать для посторонних вычислений, например майнинга криптовалют или запуска вредоносных процессов. Для бизнеса это означает дополнительные расходы и снижение доступной мощности.
По оценке команды Softline, контролировать нужно не только действия пользователей, но и потребление ресурсов. Резкое изменение нагрузки может указывать на злоупотребление инфраструктурой.
6. Уязвимости API
Программные интерфейсы связывают модель с приложениями, базами данных и внешними сервисами. Ошибки в их защите могут привести к инъекционным атакам, утечкам и неправомерному доступу к модели.
Основными мерами остаются надежная аутентификация, шифрование и постоянный мониторинг обращений.
7. Компрометация цепочки поставок
Корпоративная ИИ-система обычно зависит от сторонних моделей, библиотек, сервисов и наборов данных. Уязвимость или вредоносное изменение одного компонента способно повлиять на все решение.
Поэтому состав системы нужно учитывать и регулярно проверять. Использование известной библиотеки или готовой модели не отменяет контроля ее происхождения, версии и безопасности.
На какие стандарты можно опереться
Защита ИИ уже формируется как отдельное направление информационной безопасности. Для управления рисками появились стандарты, методологии и базы знаний, охватывающие разные этапы работы с моделями.
Для оценки рисков и выстраивания защиты ИИ компании могут использовать следующие стандарты, методологии и базы знаний:
- NIST AI RMF (AI Risk Management Framework) — фреймворк управления рисками искусственного интеллекта;
- ISO/IEC 42001 — международный стандарт с требованиями к системе менеджмента искусственного интеллекта;
- OWASP GenAI Security Project — набор практических материалов по безопасности генеративного ИИ, включая Top 10 for LLM Applications, Top 10 Machine Learning Security, руководство по Red Teaming, контрольный список по управлению ИИ и рекомендации по защите данных;
- MITRE ATLAS — база знаний о тактиках, техниках и процедурах атак на ИИ и системы машинного обучения;
- модель угроз AI Сбера — практическая модель, охватывающая подготовку данных, обучение, интеграцию и эксплуатацию ИИ-систем, включая генеративные модели.
Эти подходы различаются по назначению, но вместе охватывают четыре направления: управление рисками, проверку устойчивости к атакам, техническую защиту и безопасную разработку.
Сначала нужно понять, какой ИИ уже используется
Управление рисками начинается с инвентаризации. Компания должна знать, какие модели и сервисы используют сотрудники, к каким данным они подключены, какие решения могут принимать и к каким последствиям приведет ошибка.
Подход Softline включает оценку возможных сценариев злоупотребления, их вероятности и влияния на бизнес. После этого можно определить меры реагирования и организовать регулярный пересмотр рисков. Разовая проверка не решает задачу, модель получает новые данные, пользователи меняют способы работы с ней, а сама система обрастает интеграциями, вместе с этим меняется и профиль угроз.
Как проверить устойчивость ИИ к атакам
Для проверки ИИ-систем применяется Red Teaming — моделирование действий атакующего. Его задача состоит в том, чтобы найти слабые места до реального инцидента.
Эксперты Softline проверяют устойчивость моделей к Prompt Injection (внедрению в запрос команд, которые меняют поведение системы), когда злоумышленник пытается изменить поведение системы с помощью специально составленного запроса, и Jailbreak-атакам (обходу встроенных ограничений), направленным на обход встроенных ограничений.
Также оцениваются возможность утечки данных, реакция модели на вредоносный контент, безопасность подключений к внешним системам и корректность защитных механизмов. Обычного тестирования приложения для этого недостаточно: проблема может находиться в логике ответов модели или в том, как она выполняет пользовательские инструкции.
Какие технические средства нужны
Один из классов защитных решений — LLM Firewall. Такой инструмент контролирует взаимодействие с большой языковой моделью и помогает блокировать опасные запросы, включая попытки Prompt Injection.
Команда Softline также выделяет средства разграничения доступа к моделям и данным, системы мониторинга аномального поведения и инструменты предотвращения утечек. Дополнительно применяются LLM Guardrails — ограничения и проверки, которые задают допустимые действия модели и контролируют ее входные и выходные данные.
Ни одно из этих средств не закрывает все риски самостоятельно. Набор мер зависит от архитектуры системы, используемых данных, интеграций и последствий возможной ошибки.
Безопасность должна войти в разработку
По мере роста числа ИИ-систем компании переходят к LLMSecOps. Этот подход объединяет DevSecOps, то есть разработку со встроенными требованиями безопасности, и MLOps — управление жизненным циклом моделей машинного обучения.
LLMSecOps — это подход к безопасной разработке и эксплуатации решений на базе больших языковых моделей. В проектах ГК Softline требования безопасности учитываются на всех этапах: от проектирования и подготовки данных до тестирования, запуска, мониторинга и реагирования на инциденты.
Смысл подхода заключается в том, чтобы проверять безопасность на каждом этапе. Если отложить ее до конца проекта, исправление архитектурной ошибки, небезопасной интеграции или проблемы с данными потребует больше времени и ресурсов.
Как выстроить защиту на практике
Мы в Softline начинаем с оценки зрелости процессов и инвентаризации ИИ-систем. Затем анализируем архитектуру, данные, окружение и возможные сценарии атак.
Следующий этап — Red Teaming LLM-приложений с учетом угроз из OWASP Top 10 for LLM Applications. Результаты проверки становятся основой для технических и организационных мер.
Для системного управления нужны единые роли, зоны ответственности, процессы контроля, нормативные документы и технологические инструменты. Все это объединяется в корпоративную модель управления ИИ, или AI Governance Framework.
ГК Softline также рассматривает подготовку к сертификации по ISO/IEC 42001, внедрение LLMSecOps и подбор технических средств защиты, включая LLM Firewall и LLM Guardrails, как части единой системы. Нельзя защитить модель отдельно от данных, инфраструктуры, пользователей и процессов разработки.
ИИ продолжит проникать в корпоративные процессы быстрее, чем компании будут перестраивать регламенты. По мнению ГК Softline, главным риском станет разрыв между возможностями технологии и способностью бизнеса ее контролировать. Сократить его можно только постоянной работой с рисками на протяжении всего жизненного цикла ИИ.