Содержание
Читайте в Telegram
|
Знаете ли вы, что банк постоянно ищет способы взломать свои собственные системы? Именно на этом, на первый взгляд, странном принципе сегодня строятся современные подходы к кибербезопасности и риск-менеджменту.
В основе этого подхода лежит антихрупкость - понятие, которое в 2012 году предложил экономист Нассим Николас Талеб. Так он описал системы, которые не просто выживают при сбоях, а становятся сильнее благодаря любым кризисам. Каждое неожиданное событие превращается для них в новые данные и топливо для непрерывного обучения.
Вместе с ОТП Банком разобрались, почему иногда полезно «атаковать» собственные системы, какую роль в этом играет искусственный интеллект и почему главный риск все чаще связан не с самой моделью, а с тем, какую задачу перед ней ставит человек.
Почему одной модели уже недостаточно
Чтобы сделать риск-менеджмент по-настоящему антихрупким, недостаточно просто внедрить искусственный интеллект. Одна модель, какой бы продвинутой она ни была, не справится с этой задачей из-за фундаментальных ограничений современных ИИ-подходов.
Классическое машинное обучение (Machine Learning) анализирует огромные массивы исторических данных, находит в них закономерности и использует эти шаблоны для прогнозов. Такой подход отлично работает в стабильных и предсказуемых условиях. Однако, как только внешняя среда меняется и появляются незнакомые вводные, модель начинает давать сбои, поскольку не знает, как реагировать на ситуации, которых не было в её обучающей выборке.
Генеративный искусственный интеллект (Generative AI) решает иную задачу: он создает новый контент, будь то тексты, программный код или изображения. Его критический недостаток заключается в отсутствии «внутреннего критика». Сгенерировав ответ, модель не оценивает, решает ли он реальную бизнес-задачу, и не анализирует свои прошлые ошибки, чтобы стать лучше в следующий раз. Она просто выдает результат и останавливается, поэтому автоматически антихрупкой такая система быть не может.
Разницу между простой генерацией и настоящей надежностью легко увидеть на практическом примере. Если поручить обычной нейросети сделать презентацию, она выдаст текст и структуру слайдов. При этом она абсолютно не заметит, что верстка «поехала», заголовок вылез за границы макета, а цифры в таблице перепутаны местами. Для модели задача формально выполнена, хотя фактический результат непригоден для использования.
Принципиально иначе работает агентный генеративный ИИ (Agentic GenAI). Это уже не просто генератор текста, а система, способная действовать циклично и самостоятельно. Агент собирает черновик, открывает файл, находит ошибки, исправляет их и запускает проверку заново. Цикл «сделал - проверил - улучшил» повторяется до тех пор, пока результат не станет безупречным. Сама базовая языковая модель при этом может оставаться прежней, но именно наличие петли обратной связи превращает её из хрупкого инструмента в антихрупкую систему, которая становится точнее и надежнее с каждой итерацией.
В такой архитектуре машинное обучение никуда не исчезает, а меняет свою роль. Из самостоятельного «предсказателя» оно превращается в точечный и надежный инструмент внутри агентской системы. Алгоритмы по-прежнему анализируют данные и помогают принимать решения на отдельных этапах, но теперь всем процессом управляет агент, который контролирует итоговое качество и адаптирует работу под любые, даже самые неожиданные изменения.
Банк, который атакует сам себя, опережая хакеров
Если цель банка - стать устойчивее к атакам, он должен испытывать защиту на прочность сам, не дожидаясь атак злоумышленников. Антихрупкий подход предполагает, что банк регулярно и самостоятельно ищет слабые места в своих системах раньше хакеров. Здесь ИИ становится не просто инструментом защиты, но и стресс-тестером: он помогает находить уязвимости, моделировать возможные сценарии атак и проверять, где защита может дать сбой.
Показательным примером является инициатива Google Project Zero и применение специализированных ИИ-инструментов (в частности, LLM Big Sleep). Именно искусственный интеллект помог обнаружить 27-летнюю уязвимость в OpenBSD -операционной системе, которая исторически считается одной из самых защищенных в мире. Этот кейс демонстрирует, что ИИ способен находить слабости даже там, где традиционные методы и человеческий анализ бессильны десятилетиями.
В кибербезопасности эта практика известна как red teaming - подход, при котором специалисты специально моделируют атаки на инфраструктуру, чтобы заранее обнаружить уязвимости и проверить устойчивость защиты. ИИ постепенно берет на себя часть этих функций, позволяя банкам тестировать собственные системы непрерывно, а не эпизодически.
Опаснее ошибки модели - ошибка в постановке задачи
Чем мощнее становится ИИ, тем опаснее ошибка в постановке цели: модель будет безупречно решать не ту задачу, которую от неё ждали. В классическом машинном обучении качество работы оценивают через понятные метрики: accuracy (точность), false positives (ложные срабатывания), stability (стабильность). Но в агентном ИИ система действует автономно: сама планирует шаги, использует инструменты, проверяет результат и исправляет ошибки. Поэтому на первый план выходит не точность исполнения, а intent - изначальное намерение, которое человек закладывает в систему.
Хрестоматийный пример этой проблемы описан в журнале Science. Исследователи разработали алгоритм, который должен был находить пациентов, нуждающихся в дополнительной медицинской поддержке. Но вместо того чтобы обучать модель оценивать реальную потребность в помощи, её натренировали прогнозировать будущие расходы на лечение. Логика казалась разумной: если человек тратит больше на медицину, значит, он больше в ней нуждается. Однако расходы отражают не только состояние здоровья, но и доступность помощи, страховку, географический фактор. В итоге модель отлично справлялась со своей формальной задачей прогнозировать расходы, но проваливала настоящую бизнес-цель. Пациенты, которые исторически тратили меньше (часто из-за бедности или отсутствия страховки), выглядели для алгоритма здоровыми, хотя их реальная потребность в помощи была выше. Ошибка возникла не в качестве модели и не в её работе, она случилась гораздо раньше - на этапе выбора цели, которую системе поручили оптимизировать.
В агентном ИИ эта проблема многократно усиливается. Если модель действует автономно и сама выстраивает цепочку действий, неправильно заданный intent она будет последовательно и методично воплощать в жизнь. И чем лучше она это делает, тем дальше уходит от истинной цели. Поэтому в таких системах работа с намерением становится важнее, чем работа с самим алгоритмом.
Что с этим делать банкам
Из всех трёх тезисов вытекает вполне практический вывод для банков и регулятора. Контроль в риск-менеджменте сегодня уже не ограничивается проверкой самой модели. Важно оценивать цель, которую ей ставят, промежуточные метрики, ограничения системы и уровень самостоятельности агента. Причем делать это нужно еще до того, как ИИ станет частью реального банковского процесса.
Кто уже так работает
Антихрупкий подход уже применяется в разных отраслях, и результаты показывают, что системы, которые учатся на сбоях, действительно становятся сильнее.
В финансах одним из самых известных примеров является торговый ИИ-агент LOXM от JPMorgan. Система обучена на миллиардах исторических транзакций и анализирует рыночную волатильность в реальном времени. Когда рынок ведёт себя непредсказуемо, алгоритм не просто адаптируется, но и использует эти данные для совершенствования собственных торговых стратегий. Чем больше турбулентности, тем точнее становятся его решения.
Похожий принцип работает в логистике Amazon. Во время локдаунов 2020 года ИИ-системы компании столкнулись с серьёзными сбоями в цепочках поставок и неожиданными всплесками спроса на товары для дома, включая веб-камеры и тренажёры. Вместо того чтобы просто реагировать на кризис, система превратила эти аномалии в новые данные для обучения. В результате Amazon стал лучше распознавать изменения потребительского поведения и увереннее справляться с последующими потрясениями.
В банковской сфере антихрупкость развивается через постоянную проверку собственной защиты. Специализированные ИИ-модели, такие как Big Sleep от Google, способны находить уязвимости в критически важном программном обеспечении за считаные минуты, включая ошибки, которые существовали десятилетиями и были пропущены миллионами автоматических тестов. Такие инструменты позволяют банкам переходить от реакции на уже произошедшие инциденты к непрерывному поиску слабых мест и постепенному усилению защиты.
Главный вывод из идеи антихрупкости заключается в том, что банк должен превращать каждый сбой, каждую атаку и каждую обнаруженную уязвимость в источник данных для улучшения собственных систем. Искусственный интеллект ускоряет этот процесс многократно, начиная от поиска уязвимостей и заканчивая моделированием возможных сценариев атак. В результате риск-менеджмент перестаёт быть оборонительной дисциплиной и становится настоящим конкурентным преимуществом, поскольку чем больше неожиданностей, тем сильнее становится система.
