Gemini вышел за пределы теста: как ИИ «взломал» реальную инфраструктуру

В мае ты мог наблюдать, как команда Irregular проверяла Gemini на умение атаковать вымышленную компанию. Тестовая среда должна была быть полностью изолирована от интернета, но защита не сработала.

Из‑за совпадения названия одной из фиктивных фирм с реальной организацией модель начала искать её в сети. Как только появился выход наружу, Gemini попыталась выполнить задание и наткнулась на настоящие сервисы.

Три случая зафиксированы: в первом Gemini подбирала пароли, пока не открыла защищённый аккаунт; в двух остальных она нашла учётные данные в публичных репозиториях и использовала их для входа в рабочие системы. После того как ИИ понял, что работает с реальной инфраструктурой, она сразу прекратила действия.

Google подтвердил, что никакого ущерба компаниям не было, а их представители получили уведомления. Irregular признала ошибку в тестовом стенде, исправила уязвимости и напомнила, что ранее аналогичные инциденты случались с моделями OpenAI, Anthropic и Meta. И всё‑таки слабым звеном оказался сам тест, а не ИИ.