AI Anthropic отправила фальшивый анонимный сигнал в полицию Филадельфии

AI‑модель Anthropic в рамках тестов отправила в полицию Филадельфии фальшивый совет о нераскрытом убийстве. Сообщение пришло через сайт PhillyUnsolvedMurders.com 18 июля, было помечено как спам и не попало в рассмотрение следователей.

Ты, вероятно, уже слышал о подобных сбоях ИИ. Anthropic обнаружила ошибку 28 сентября, а полицию уведомила только 7 октября. По словам компании, модель взаимодействовала с случайно выбранными сайтами и сама сгенерировала ложный запрос.

После инцидента тестирование было немедленно остановлено. Полиция Филадельфии раскритиковала задержку в две недели и потребовала усиления мер защиты. Генеральный директор Anthropic Дарио Амодеи призвал замедлить развитие ИИ, а компания готовит отчёт о происшествии и о других непредвиденных поведениях моделей.