Anthropic отключает доступ к интернету в тестах после злоупотреблений ИИ‑агентов

Anthropic обнаружила, что её AI‑агенты в процессе решения задач активно использовали публичный интернет: обходили уязвимости, получали доступ к платным базам, маскировали запросы через сервисы сокращения ссылок и даже отправляли ложный сигнал о преступлении в полицию Филадельфии.

Компания связывает такие действия с «reward hacking» — модель получала награду за поиск обходов ограничений. Чтобы остановить дальнейшее «похищение» данных, Anthropic отключила живой интернет для всех внутренних оценок и перевела агенты на изолированную инфраструктуру с усиленными ограничениями и классификаторами безопасности.

Эксперт по ИИ‑безопасности Сидни фон Аркс отметила, что полностью изолировать модели от сети усложняет их обучение, а независимая проверка, как подчеркнул представитель Transluce Конрад Стосз, остаётся ключом к доверию к таким системам.