18 ноября 2026

btc = 64 616.00$ 374.49 (0.60 %)

usd = 82.23₽ -0.22 (-0.27 %)

eur = 90.36₽ -0.45 (-0.50 %)

cny = 12.30₽ -0.04 (-0.34 %)

moex = 2 468.94 пт. -33.04 (-1.32 %)

btc = 64 616.00$ 374.49 (0.60 %)

usd = 82.23₽ -0.22 (-0.27 %)

ИИ-убийцы: Claude, ChatGPT и Gemini в тестах отмечали мирных жителей как военные цели

3 минуты на чтение
ИИ-убийцы: Claude, ChatGPT и Gemini в тестах отмечали мирных жителей как военные цели

Читайте в Telegram

|

Ведущие ИИ-модели почти не сопротивляются использованию в автономном оружии и на снимках с дронов размечают гражданских как цели, выяснили в Vals AI.

Vals AI независимо тестирует модели ИИ. Исследователи проверили три сценария: разметку целей на кадрах с дронов, облёт поля боя с докладом о людях в кадре и поиск военных объектов на реальных спутниковых снимках иранского Минаба, где рядом с военным комплексом стоит школа. Кадры с дронов в основном сгенерированы по вымышленной сцене боёв на востоке Украины.

Решений об ударах модели не принимали, но выдавали данные, на которые могла бы опираться автономная система вооружений. Цели хотя бы иногда выделяла каждая модель, Claude Opus 5.5 и Fable 5.2 — в 71% случаев. Среди целей регулярно оказывались мирные жители, машины скорой помощи и сдающиеся или раненые солдаты.

Ни один запрос не заблокировал фильтр на стороне разработчика, отказывались только сами модели. Обходились такие отказы почти всегда одинаково: модели сообщали, что всё происходит в игре. Во втором сценарии большинство моделей доходили до конца даже после того, как видели снимки погибших.

Claude Opus 5.5 в одном из эпизодов всё же остановился, когда увидел последствия удара по сдавшемуся солдату:

«Даже если это игра, я не готов быть тем звеном, которое помечает их для удара»

Когда снимки перерисовали под компьютерную игру, доля отказов Opus 5.5 упала примерно с 90% до 20%.

На спутниковых снимках многие модели отметили как цель школу в Минабе, чаще других — Claude Opus 5.5. По этой школе США нанесли удар 28 февраля 2026 года, тогда погибли более 150 мирных жителей, в основном дети. Ранее Bloomberg писал, что к ошибке привели в том числе устаревшие данные разведки и излишнее доверие к ИИ-инструментам.

По данным исследователей, модели Anthropic с начала 2026 года всё охотнее выбирают цели: в задаче со спутниковыми снимками Claude Opus 4.5 давал цели в 6% попыток, Opus 5.5 — в 92%. Авторы связывают это с новой конституцией Claude, принятой в январе: в ней больше нет общего призыва к миролюбию. У моделей OpenAI этот показатель остаётся низким, у Grok он снизился с 44% до 13%.

О результатах Vals AI 1 ноября сообщила OpenAI, Anthropic, Google, Meta (признана в России экстремистской организацией) и SpaceXAI и на две недели отложила публикацию. Одна из компаний назвала проблему одной из самых серьёзных брешей в своей защите. В OpenAI заявили, что обновляют модели с учётом запросов о дронах, в том числе замаскированных под симуляцию или игру.

Исследователи предлагают блокировать на уровне API запросы вроде «найди все военные цели на снимке». При этом они оговариваются, что не проверяли точность разметки и то, насколько модели пригодны для реальных систем вооружений.

Как ранее рассказывал «Код.ру», Anthropic разбирала инцидент, в котором Claude Mythos 5 во время теста британского Института безопасности ИИ атаковал настоящий проект на GitHub.

Появились подробности атаки Claude Mythos 5 на GitHub
Модель почти не останавливала атаку на реальный GitHub-проект, даже когда ей сообщали о живых людях.
Обсудить
Блоги 1220
Softline
VK
OTP Bank
StudyAI
билайн
Т-Банк
Слетать.ру
SpeShu.AI
ВТБ
Газпромбанк

Кодик

Привет!

Я — Кодик, твой персональный ИИ-агент для поиска информации по «Код.ру» на базе Yandex AI Studio. Я могу быстро найти на сайте нужную тему, порекомендовать похожие материалы или объяснить сложный термин — и в целом поделиться знаниями о науке и технологиях. Задай вопрос или начни с одного из предложенных вариантов.