OpenAI, Google, Microsoft и Anthropic договорились о едином запрете обучения ИИ

Google, OpenAI, Microsoft и Anthropic будут учитывать общий запрет на обучение ИИ в файле robots.txt. Свои планы Google 30 октября описала в блоге.

Сейчас сайту, который не хочет отдавать тексты для обучения нейросетей, приходится перечислять в robots.txt каждого ИИ-робота или токен компании: GPTBot у OpenAI, ClaudeBot у Anthropic, Google-Extended у Google. Новый подход позволяет обойтись одним правилом: запись «User-Agent: __usage_ai-training» и «Disallow: /» запрещает обучение на всём сайте. Можно закрыть и только отдельные разделы.

Предложение подготовил Кевин Келли из Anthropic и направил его в Инженерный совет интернета (IETF). Пока это индивидуальный черновик: официального статуса стандарта у него нет, а рабочая группа IETF по предпочтениям для ИИ (AIPREF) продолжает обсуждение.

Сроки у компаний разные. Anthropic, по данным IT Home, уже начала внедрение, OpenAI обещает поддержку в ближайшие месяцы, Microsoft начнёт учитывать новые настройки с 1 февраля 2027 года, а Google рассчитывает добавить поддержку в 2027 году. По словам Google, общий запрет будет работать как запрет Google-Extended, если тот не указан в файле отдельно. Собственные настройки каждой компании сохранятся.

По словам Microsoft, настройка касается будущего обучения моделей. Для ИИ-ответов компания вводит отдельную настройку на уровне страницы: сайт сможет запретить Copilot, Microsoft 365 и другим сервисам Microsoft использовать страницу в ответах и при этом остаться в поисковой выдаче Bing.

Представитель Meta (признана в России экстремистской организацией) Энди Стоун, по данным китайского издания IT Home, поддержал идею общего сигнала, но планов по внедрению не назвал.