Содержание
Читайте в Telegram
|
Искусственный интеллект уже стал рабочим инструментом для бизнеса, но вместе с его возможностями растет и список рисков. Причем проблемы возникают не только из-за ошибок самих моделей.
Человек может слишком сильно довериться ответу нейросети, дать ИИ-агенту избыточные права или загрузить рабочие данные во внешний сервис.
По опыту Softline, эти сценарии важно рассматривать вместе. Одни риски связаны с ограничениями самой технологии, другие возникают из-за действий сотрудников, третьи — из-за того, что правила использования ИИ пока не успевают за развитием технологии.
Когда ИИ выглядит умнее, чем есть на самом деле
Большие языковые модели склонны ошибаться, это связано с их вероятностной природой и особенностями обучения. Еще несколько лет назад это было особенно заметно на простых вопросах с подвохом. Например, пользователям предлагали представить кружку без дна, но с запаянной верхушкой, и определить, можно ли из нее пить. В 2024 году ИИ-сервисы нередко не замечали противоречия в условии и отвечали так, будто речь идет об обычной кружке.
Сегодня модели справляются с подобными вопросами значительно лучше. Но это не обязательно означает, что они научились лучше рассуждать — возможное объяснение состоит в том, что вопрос и похожие примеры уже встречались в обучающих данных. Модель могла фактически запомнить ответ.
Похожая проблема возникает и с тестами. На синтетических бенчмарках ИИ может показывать более высокие результаты, чем на реальных задачах, если во время обучения успел столкнуться с похожими примерами.
Поэтому в Softline мы не рекомендуем воспринимать убедительный ответ модели как доказательство его правильности. Правдоподобный, но неверный ответ в контексте ИИ называют галлюцинацией. Именно поэтому многие разработчики LLM отдельно предупреждают пользователей о возможных ошибках моделей.
Ошибки становятся еще заметнее, если ИИ используется для классификации или принятия решений. Система может принять спам за обычное письмо, подозрительную транзакцию — за безопасную или, наоборот, заблокировать легитимное действие.
Есть и другая проблема — предвзятость моделей. ИИ обучается на данных, в которых уже присутствуют социальные, исторические и бизнес-перекосы, поэтому может воспроизводить эти паттерны в своих ответах. Результат способен зависеть, например, от языка запроса или от того, от чьего лица сформулирован запрос — мужского или женского.
Показательный пример — история Amazon. Компания пыталась использовать ИИ для автоматического отбора резюме. Алгоритм обучали на данных за десять лет, и поскольку в IT-сфере среди сотрудников преобладали мужчины, модель фактически восприняла мужской пол как признак хорошего кандидата. В результате система стала понижать в рейтинге резюме, в которых встречалось слово «женский» и его производные — проект пришлось закрыть.
Когда проблему создает уже не сама модель
На практике источником риска может стать человек, который использует ИИ без достаточного контроля. Один из таких сценариев связан с чрезмерной автономностью ИИ-агентов: если они получают широкие права доступа и при этом ошибаются, последствия могут быть серьезными: от нарушения работы продуктивной среды до удаления баз данных.
Масштаб возможного ущерба напрямую связан с теми полномочиями, которые получили агент и подключенные к нему системы. При достаточно высокой автономности ИИ способен самостоятельно выполнять последовательность действий, в том числе связанных с поиском уязвимостей и эскалацией привилегий.
ИИ-агент может получить доступ к базе данных клиентов и удалить ее. ИИ также может использоваться в пентестировании. В таких случаях вопрос заключается уже не только в том, насколько хорошо модель отвечает на запросы, но и в том, какие действия ей разрешено выполнять. Чем шире полномочия агента, тем больше потенциальный ущерб от его ошибки или некорректного действия.
Еще один распространенный сценарий — теневое использование ИИ, или Shadow AI. Сотруднику нужно быстрее выполнить задачу, и он загружает во внешний ИИ-сервис чувствительный документ, программный код, данные клиентов или внутреннюю аналитику.
Для сотрудника это может выглядеть как обычный рабочий инструмент. Для компании проблема заключается в том, что она не контролирует такой способ обработки информации. Кроме того, сотрудник может не понимать, какие последствия повлечет передача данных внешнему сервису.
По опыту Softline, Shadow AI остается одним из наиболее реалистичных и недооцененных рисков именно потому, что его сложно заметить и контролировать. Если использование ИИ происходит за пределами утвержденных корпоративных инструментов, компания может не знать, какие данные сотрудники передают моделям и в каких задачах их используют.
Атаковать можно и сам ИИ
Уязвимым объектом становится не только инфраструктура вокруг модели. Атаковать можно непосредственно ИИ-систему.
Один из таких способов — промпт-инъекция. Это атака, при которой злоумышленник пытается заставить модель игнорировать первоначальные инструкции и выполнять другие команды.
Атака может быть прямой или более сложной. Вредоносную инструкцию можно спрятать в Unicode-символах или сформулировать на выдуманном языке. Для обхода защитных механизмов используются также ролевые сценарии, попытки перевести модель в условный «режим отладки» и фейковые системные команды.
Последствия могут ограничиваться генерацией нежелательного контента. Но риск становится существенно выше, если ИИ подключен к корпоративным системам — например, к электронной почте, CRM или другим внутренним инструментам.
В Softline мы считаем важным учитывать этот сценарий: в случае атаки объектом воздействия становится уже не только ответ нейросети, но и связанные с ней корпоративные процессы.
ИИ может стать причиной неожиданного счета
Еще один риск связан не с утечкой данных или ошибкой модели, а с расходами. ИИ-сервисы используют токены и API-запросы, и если компания не контролирует объем использования и не устанавливает лимиты, расходы могут значительно вырасти — такой сценарий называют Denial of Wallet, или «отказом кошелька».
Риск может возникнуть как изнутри компании, так и в результате внешнего воздействия, если злоумышленнику удастся инициировать большое количество дорогостоящих запросов.
Правила использования ИИ пока формируются
Технология развивается быстрее, чем правовые и организационные нормы вокруг нее. Во многих странах по-прежнему остаются открытыми вопросы регулирования безопасности ИИ, авторских прав, ответственности за ошибки модели и оценки репутационных рисков, единых подходов по всем этим направлениям пока нет.
По мнению экспертов Softline, поэтому компаниям приходится самостоятельно определять правила использования ИИ и связанные с ним требования безопасности. Речь идет не только о технических ограничениях. Важно понимать, какие данные сотрудники могут передавать нейросетям, какие задачи можно отдавать ИИ, где необходима проверка человеком и какие последствия может иметь ошибка модели.
Что опаснее — ИИ или человек?
Вопрос о том, что является главным источником риска, не имеет простого ответа. По опыту Softline, многие проблемы, которые выглядят, как ошибки ИИ, начинаются с человеческого решения: кто-то не ограничил доступ, не установил лимиты, не проверил результат или предоставил системе слишком широкие полномочия, поэтому риски ИИ нельзя рассматривать только через призму возможностей самой технологии.
При этом полностью отказаться от ИИ бизнесу тоже сложно. Технология дает компаниям преимущества в скорости, масштабе и автоматизации рутинных задач. Именно поэтому задача заключается не в том, чтобы исключить использование ИИ из рабочих процессов. Гораздо важнее понимать, где заканчиваются возможности модели и начинаются риски ее применения. Некоторые из них проявляются сразу или могут оставаться незаметными месяцами. Компания может не сразу обнаружить утечку после теневого использования ИИ, последствия ошибки в сгенерированном коде или других материалах тоже могут проявиться спустя значительное время.
В Softline мы считаем, что именно поэтому безопасность ИИ нельзя свести к одной проверке модели. Компании приходится учитывать одновременно ограничения технологии, действия сотрудников, полномочия ИИ-агентов, способы передачи данных, возможные атаки и последствия использования ИИ.
Пока технология развивается, этот список будет меняться вместе с ней. Поэтому зрелость компании в работе с ИИ определяется не количеством внедренных нейросетей, а тем, насколько хорошо она понимает связанные с ними риски и умеет ими управлять.
