ГК Softline (Infosecurity): как нейросети помогают взламывать компании и защищать их

Убедительное письмо и знакомый голос руководителя могут оказаться частью атаки с использованием нейросетей.

Мы расскажем в этой статье, как искусственный интеллект помогает злоумышленникам обманывать сотрудников, а специалистам по безопасности обнаруживать угрозы.

Мы в ГК Softline выделяем несколько основных рисков: персонализированный фишинг, поддельные голоса, утечки конфиденциальных данных и ошибки самих моделей. При этом ИИ уже применяется для обработки инцидентов и автоматического реагирования на типовые атаки.

Развитие технологий сопровождается ростом расходов на информационную безопасность. По прогнозу IDC, в 2026 году они составят $308 млрд, увеличившись примерно на 12% за год. К 2029 году показатель может приблизиться к $430 млрд.

Как нейросети помогают атакующим

По словам эксперта ГК Softline, многие атаки полностью автоматизированы: ИИ-боты работают круглосуточно и адаптируются под конкретную жертву. Нейросети анализируют переписку и генерируют персонализированные фишинговые письма. Грамматических ошибок и очевидных подмен, по которым раньше можно было распознать обман, в них может не быть.

Другой опасный сценарий связан с дипфейками, в частности с подделкой голоса руководителя. Сотрудник получает требование срочно перевести деньги и принимает его за настоящее. Эксперт отмечает, что антивирусы и межсетевые экраны в таком случае бессильны перед обманом человека.

Фишинговое письмо также может стать точкой входа для вируса-шифровальщика — такая атака способна надолго парализовать работу компании.

Какие риски создают сотрудники

Отдельная проблема связана с теневым ИИ. Так называют использование публичных нейросетей без одобрения и контроля ИТ-отдела, службы информационной безопасности и руководства. Сотрудники решают рабочие задачи, но вместе с запросами могут передавать конфиденциальные данные.

Запреты и блокировки бессмысленны: сотрудники найдут способ их обойти. Она рекомендует установить понятные правила работы с нейросетями:

Не включать в запросы непубличную информацию, особенно пароли, базы данных работников, код и черновики документов.
Перепроверять цифры, ссылки на законы и медицинские советы.
Проверять сгенерированные программы и скрипты вместе с коллегами перед использованием в рабочем продукте.
Использовать корпоративные Enterprise-версии с юридической гарантией, что данные не попадут в обучение публичной модели, вместо личных бесплатных аккаунтов.

Проверка ответов нужна из-за галлюцинаций: модель может выдать правдоподобную, но ложную информацию. В юридических, медицинских и финансовых документах такие ошибки способны привести к репутационным потерям, юридическим последствиям и прямым убыткам. Утечки, в свою очередь, возможны как через скомпрометированные модели, так и из-за ошибок обработки данных.

Как компании контролируют работу с ИИ

Для контроля информации, отправляемой в нейросети, компании внедряют шлюзы для больших языковых моделей, или LLM-шлюзы. Они работают как посредники между сотрудниками и ИИ-сервисами: фильтруют запросы и удаляют чувствительные сведения до передачи поставщику сервиса.

По описанию эксперта, такие шлюзы также блокируют инъекции промптов. Это попытки внедрить вредоносные инструкции, чтобы, например, через бота получить доступ к внутренним документам.

Эксперт отмечает, что новые регуляторные требования заставляют бизнес защищать и сами модели машинного обучения. В результате сформировался отдельный рынок услуг по защите ИИ. Однако законодательство, по ее оценке, не успевает охватывать все возникающие риски.

Суверенные нейросети, такие как GigaChat и YandexGPT, хранят данные внутри страны и корпоративного периметра, что упрощает соблюдение регуляторных требований. Однако это не защищает от фишинга: злоумышленники могут создавать поддельные письма с помощью любой доступной им модели.

Почему подтверждения входа недостаточно

Особое внимание следует обратить на атаки против многофакторной аутентификации (MFA). Боты могут многократно отправлять уведомления о входе, пока уставший сотрудник ошибочно не нажмет «подтвердить».

Эксперт описывает системы, которые дополнительно анализируют поведение пользователя: скорость печати, движения мыши и угол, под которым человек держит смартфон. Удаленный ИИ-агент или скрипт не способен воспроизвести такие микродвижения, поэтому система прерывает подозрительную сессию.

Среди других мер рекомендуется подход нулевого доверия (Zero Trust), при котором нахождение внутри сети не означает автоматического доверия, и защитные инструменты на базе ИИ, выявляющие аномалии в реальном времени.

Тестирование защиты тоже должно учитывать новые сценарии. Классический тест на проникновение не выявляет уязвимости к инъекциям промптов и социальной инженерии с применением дипфейков. Поэтому при моделировании атак она советует использовать те же ИИ-инструменты, которые доступны злоумышленникам.

Какие задачи защиты можно поручить ИИ

В центре мониторинга и реагирования на инциденты информационной безопасности (SOC) нейросети помогают сокращать число ложных тревог и автоматизировать обработку инцидентов. По словам экспертов Softline, система может блокировать очевидные атаки в реальном времени без участия человека.

Например, при сканировании портов или переборе паролей она способна заблокировать IP-адрес либо временно изолировать скомпрометированный компьютер или сервер. Моделям также можно поручать подготовку отчетов и информационных панелей.

ИИ применяется и в отдельных средствах защиты:

В системах обнаружения и реагирования на угрозы EDR и XDR он анализирует поведение файла и может приостановить подозрительный процесс. Это помогает обнаруживать угрозы, обходящие поиск по известным признакам вредоносного кода.
В системах управления событиями безопасности (SIEM) связывает разрозненные события в цепочку атаки и выявляет аномалии, которые могли бы остаться незамеченными при ручном анализе.
В системах предотвращения утечек (DLP) анализирует корпоративные коммуникации и файлы, обнаруживая сложные инциденты, которые не выявляют стандартные средства.
В межсетевых экранах проверяет запросы на наличие конфиденциальных и персональных данных, к которым пользователь не должен иметь доступ. Такая информация маскируется либо запрос блокируется.

«Для ИБ-специалистов ИИ стал инструментом, который берет на себя рутинные задачи. Например, применение нейросетей в SOC позволяет сократить объем ложных срабатываний и автоматизировать обработку инцидентов. Но нельзя предоставлять ИИ полную свободу действий, особенно при принятии критически важных решений», — отмечает Арина Азовцева, консультант отдела риск-менеджмента кибербезопасности ГК Softline (Infosecurity).

Таким образом, рекомендации эксперта касаются и защиты от атак, и повседневного использования нейросетей. Компании должны контролировать отправляемые данные, проверять ответы моделей и сохранять за человеком окончательное решение в критически важных вопросах.