Anthropic запретила оскорблять Claude: бот может завершить диалог

Anthropic обновила политику использования своих моделей. Теперь пользователи, которые неоднократно и без цели оскорбляют Claude, увидят, как бот просто прекращает разговор. Компания подчёркивает, что это «основной механизм реагирования» и применяется только в крайних случаях.

В том же документе объединены ранее разрозненные ограничения. Запрещено использовать Claude для создания вводящих в заблуждение политических или коммерческих кампаний, а также для генерации контента, скрывающего автора или искусственно увеличивающего охват. Особый акцент сделан на защите избирательного процесса: дезинформация о кандидатах и способах голосования теперь запрещена.

Правила ужесточились и в сфере вооружения. Помимо прежнего запрета на разработку оружия, теперь запрещено писать программное обеспечение и компоненты, которые управляют боевыми системами, включая беспилотники. Аналогично, любой мониторинг людей без согласия, независимо от способа, считается нарушением.

Anthropic также добавила требование к операторам, подключающим модели к физическому оборудованию: квалифицированный наблюдатель должен иметь возможность остановить действие. Компания оставила открытым вопрос, будет ли наблюдатель человеком.

Руководство Anthropic отметил, что правила могут корректироваться в рамках государственных контрактов, но в целом они направлены на минимизацию потенциального вреда от ИИ. Дарио Амодеи и Кайл Фиш подчеркнули, что вопрос сознания моделей остаётся открытым.