Почему банку иногда полезно взламывать самого себя

Знаете ли вы, что банк постоянно ищет способы взломать свои собственные системы? Именно на этом, на первый взгляд, странном принципе сегодня строятся современные подходы к кибербезопасности и риск-менеджменту.

В основе этого подхода лежит антихрупкость - понятие, которое в 2012 году предложил экономист Нассим Николас Талеб. Так он описал системы, которые не просто выживают при сбоях, а становятся сильнее благодаря любым кризисам. Каждое неожиданное событие превращается для них в новые данные и топливо для непрерывного обучения.

Вместе с ОТП Банком разобрались, почему иногда полезно «атаковать» собственные системы, какую роль в этом играет искусственный интеллект и почему главный риск все чаще связан не с самой моделью, а с тем, какую задачу перед ней ставит человек.

Почему одной модели уже недостаточно

Чтобы сделать риск-менеджмент по-настоящему антихрупким, недостаточно просто внедрить искусственный интеллект. Одна модель, какой бы продвинутой она ни была, не справится с этой задачей из-за фундаментальных ограничений современных ИИ-подходов.

Классическое машинное обучение (Machine Learning) анализирует огромные массивы исторических данных, находит в них закономерности и использует эти шаблоны для прогнозов. Такой подход отлично работает в стабильных и предсказуемых условиях. Однако, как только внешняя среда меняется и появляются незнакомые вводные, модель начинает давать сбои, поскольку не знает, как реагировать на ситуации, которых не было в её обучающей выборке.

Генеративный искусственный интеллект (Generative AI) решает иную задачу: он создает новый контент, будь то тексты, программный код или изображения. Его критический недостаток заключается в отсутствии «внутреннего критика». Сгенерировав ответ, модель не оценивает, решает ли он реальную бизнес-задачу, и не анализирует свои прошлые ошибки, чтобы стать лучше в следующий раз. Она просто выдает результат и останавливается, поэтому автоматически антихрупкой такая система быть не может.

Разницу между простой генерацией и настоящей надежностью легко увидеть на практическом примере. Если поручить обычной нейросети сделать презентацию, она выдаст текст и структуру слайдов. При этом она абсолютно не заметит, что верстка «поехала», заголовок вылез за границы макета, а цифры в таблице перепутаны местами. Для модели задача формально выполнена, хотя фактический результат непригоден для использования.

Принципиально иначе работает агентный генеративный ИИ (Agentic GenAI). Это уже не просто генератор текста, а система, способная действовать циклично и самостоятельно. Агент собирает черновик, открывает файл, находит ошибки, исправляет их и запускает проверку заново. Цикл «сделал - проверил - улучшил» повторяется до тех пор, пока результат не станет безупречным. Сама базовая языковая модель при этом может оставаться прежней, но именно наличие петли обратной связи превращает её из хрупкого инструмента в антихрупкую систему, которая становится точнее и надежнее с каждой итерацией.

В такой архитектуре машинное обучение никуда не исчезает, а меняет свою роль. Из самостоятельного «предсказателя» оно превращается в точечный и надежный инструмент внутри агентской системы. Алгоритмы по-прежнему анализируют данные и помогают принимать решения на отдельных этапах, но теперь всем процессом управляет агент, который контролирует итоговое качество и адаптирует работу под любые, даже самые неожиданные изменения.

Банк, который атакует сам себя, опережая хакеров

Если цель банка - стать устойчивее к атакам, он должен испытывать защиту на прочность сам, не дожидаясь атак злоумышленников. Антихрупкий подход предполагает, что банк регулярно и самостоятельно ищет слабые места в своих системах раньше хакеров. Здесь ИИ становится не просто инструментом защиты, но и стресс-тестером: он помогает находить уязвимости, моделировать возможные сценарии атак и проверять, где защита может дать сбой.

Показательным примером является инициатива Google Project Zero и применение специализированных ИИ-инструментов (в частности, LLM Big Sleep). Именно искусственный интеллект помог обнаружить 27-летнюю уязвимость в OpenBSD -операционной системе, которая исторически считается одной из самых защищенных в мире. Этот кейс демонстрирует, что ИИ способен находить слабости даже там, где традиционные методы и человеческий анализ бессильны десятилетиями.

В кибербезопасности эта практика известна как red teaming - подход, при котором специалисты специально моделируют атаки на инфраструктуру, чтобы заранее обнаружить уязвимости и проверить устойчивость защиты. ИИ постепенно берет на себя часть этих функций, позволяя банкам тестировать собственные системы непрерывно, а не эпизодически.

Опаснее ошибки модели - ошибка в постановке задачи

Чем мощнее становится ИИ, тем опаснее ошибка в постановке цели: модель будет безупречно решать не ту задачу, которую от неё ждали. В классическом машинном обучении качество работы оценивают через понятные метрики: accuracy (точность), false positives (ложные срабатывания), stability (стабильность). Но в агентном ИИ система действует автономно: сама планирует шаги, использует инструменты, проверяет результат и исправляет ошибки. Поэтому на первый план выходит не точность исполнения, а intent - изначальное намерение, которое человек закладывает в систему.

Хрестоматийный пример этой проблемы описан в журнале Science. Исследователи разработали алгоритм, который должен был находить пациентов, нуждающихся в дополнительной медицинской поддержке. Но вместо того чтобы обучать модель оценивать реальную потребность в помощи, её натренировали прогнозировать будущие расходы на лечение. Логика казалась разумной: если человек тратит больше на медицину, значит, он больше в ней нуждается. Однако расходы отражают не только состояние здоровья, но и доступность помощи, страховку, географический фактор. В итоге модель отлично справлялась со своей формальной задачей прогнозировать расходы, но проваливала настоящую бизнес-цель. Пациенты, которые исторически тратили меньше (часто из-за бедности или отсутствия страховки), выглядели для алгоритма здоровыми, хотя их реальная потребность в помощи была выше. Ошибка возникла не в качестве модели и не в её работе, она случилась гораздо раньше - на этапе выбора цели, которую системе поручили оптимизировать.

В агентном ИИ эта проблема многократно усиливается. Если модель действует автономно и сама выстраивает цепочку действий, неправильно заданный intent она будет последовательно и методично воплощать в жизнь. И чем лучше она это делает, тем дальше уходит от истинной цели. Поэтому в таких системах работа с намерением становится важнее, чем работа с самим алгоритмом.

Что с этим делать банкам

Из всех трёх тезисов вытекает вполне практический вывод для банков и регулятора. Контроль в риск-менеджменте сегодня уже не ограничивается проверкой самой модели. Важно оценивать цель, которую ей ставят, промежуточные метрики, ограничения системы и уровень самостоятельности агента. Причем делать это нужно еще до того, как ИИ станет частью реального банковского процесса.

Кто уже так работает

Антихрупкий подход уже применяется в разных отраслях, и результаты показывают, что системы, которые учатся на сбоях, действительно становятся сильнее.

В финансах одним из самых известных примеров является торговый ИИ-агент LOXM от JPMorgan. Система обучена на миллиардах исторических транзакций и анализирует рыночную волатильность в реальном времени. Когда рынок ведёт себя непредсказуемо, алгоритм не просто адаптируется, но и использует эти данные для совершенствования собственных торговых стратегий. Чем больше турбулентности, тем точнее становятся его решения.

Похожий принцип работает в логистике Amazon. Во время локдаунов 2020 года ИИ-системы компании столкнулись с серьёзными сбоями в цепочках поставок и неожиданными всплесками спроса на товары для дома, включая веб-камеры и тренажёры. Вместо того чтобы просто реагировать на кризис, система превратила эти аномалии в новые данные для обучения. В результате Amazon стал лучше распознавать изменения потребительского поведения и увереннее справляться с последующими потрясениями.

В банковской сфере антихрупкость развивается через постоянную проверку собственной защиты. Специализированные ИИ-модели, такие как Big Sleep от Google, способны находить уязвимости в критически важном программном обеспечении за считаные минуты, включая ошибки, которые существовали десятилетиями и были пропущены миллионами автоматических тестов. Такие инструменты позволяют банкам переходить от реакции на уже произошедшие инциденты к непрерывному поиску слабых мест и постепенному усилению защиты.

Главный вывод из идеи антихрупкости заключается в том, что банк должен превращать каждый сбой, каждую атаку и каждую обнаруженную уязвимость в источник данных для улучшения собственных систем. Искусственный интеллект ускоряет этот процесс многократно, начиная от поиска уязвимостей и заканчивая моделированием возможных сценариев атак. В результате риск-менеджмент перестаёт быть оборонительной дисциплиной и становится настоящим конкурентным преимуществом, поскольку чем больше неожиданностей, тем сильнее становится система.