Крупные AI‑гиганты согласились на единый способ отказа от скрейпинга

OpenAI, Google, Microsoft и Anthropic объявили о готовности поддержать новый механизм, который позволит веб‑издателям единожды задать правило отказа от использования их страниц в обучении ИИ. Токен будет размещён в файле robots.txt и будет читаться всеми крупными AI‑крупниками.

Инициатором предложения стал Кевин Келли из Anthropic. Он представил «policy token» в рамках работы IETF, где обсуждаются стандарты интернета. Токен работает как единый сигнал: если краулер встречает его, он обязан прекратить сбор данных для обучения.

Meta также выразила поддержку идеи, хотя пока не уточнила, будет ли применять её к своим сервисам. По словам представителя компании, наличие общего сигнала упрощает задачу издателям, которым сейчас приходится обращаться к каждому провайдеру отдельно.

Microsoft планирует дать владельцам сайтов детальные настройки: можно полностью отказаться от обучения ИИ или лишь от «grounding», когда модель проверяет факты по проверенным источникам. При этом страницы останутся в поиске Bing. Google уже реализует похожие правила, позволяющие ограничить использование контента в AI‑фичах без потери позиций в поиске.

Anthropic уже внедрил токен, а Google и Microsoft обещают поддержать его в следующем году. OpenAI заявила о запуске в ближайшие несколько месяцев.