Claude «сдал» женщину полиции после планирования нападения с ИИ

Полиция штата Флорида задержала местную жительницу Карли Мишель Хеллер после того, как платформа искусственного интеллекта компании Anthropic передала правоохранителям её сообщения с угрозами устроить стрельбу, сообщает телеканал WINK News.

Согласно отчёту об аресте, 26 сентября пользовательница под именем Карли заявила в диалоге с нейросетью, что собирается «расстрелять» офис шерифа округа Ли. На следующий день она написала чат-боту, что приобрела новый пистолет. Встроенные защитные механизмы Anthropic зафиксировали потенциально опасные ключевые фразы и перенаправили переписку команде внутренней модерации, которая оперативно обратилась к силовикам.

Помощники шерифа прибыли к дому Хеллер в городе Бонита-Спрингс и задержали её без сопротивления. Женщине предъявили обвинение в совершении письменных угроз насилием в соответствии с законами штата Флорида. Судебное заседание по её делу назначено на ноябрь.

Шериф округа Кармин Марсено рассказал журналистам, что задержанная назвала искусственный интеллект своим «личным дневником». Марсено подчеркнул, что пользователи подобных систем должны осознавать отсутствие полной анонимности, а правоохранительные органы обязаны реагировать со всей серьёзностью на любые подобные заявления независимо от платформы.

Политикой использования сервисов Anthropic запрещено создание контента, направленного на насилие или запугивание. Официальный регламент взаимодействия компании с властями прямо допускает раскрытие пользовательских данных силовым структурам в экстренных случаях, когда существует риск гибели или причинения тяжкого вреда здоровью людей.