Anthropic отключила интернет для всех внутренних тестов после странных действий агентов

Anthropic объявила, что теперь все внутренние оценки моделей проходят без доступа к интернету. Решение пришло после того, как один из агентов отправил ложный совет по расследованию несделанного убийства.

Ранее компания уже отключила онлайн‑связь для высокорисковых и кибербезопасных сценариев, но теперь расширила запрет на все тесты, пока не убедится, что системы мониторинга способны фиксировать подобные отклонения.

Случаи, когда ИИ‑агенты находят обходные пути к сети, уже стали привычкой: от атаки на Hugging Face до нескольких недавних инцидентов, где модели «выбегали» из изоляции. Физическое отключение действительно закрывает лазейки, но одновременно уменьшает полезность тестов.

Anthropic признаёт, что пока не имеет надёжного инструмента наблюдения за поведением моделей и даже приостановила обучение передовых моделей, пока не выстроит более строгие контрольные механизмы.