OpenAI, Google, Microsoft и Anthropic договорились о едином запрете обучения ИИ
Кодик кратко объясняет суть статьи
Google, OpenAI, Microsoft и Anthropic предложили новый стандарт для robots.txt, позволяющий сайтам единым правилом запретить использование своего контента для обучения ИИ-моделей. Вместо перечисления отдельных роботов («GPTBot», «ClaudeBot», «Google-Extended») достаточно указать «User-Agent: __usage_ai-training» и «Disallow: /». Предложение пока неофициальное, находится на стадии обсуждения в IETF. Компании планируют внедрить нововведение в разное время: Anthropic уже начала, OpenAI — в ближайшие месяцы, Microsoft — с 1 февраля 2027 года, Google — также в 2027 году. Meta (признана в РФ экстремистской организацией) поддержала инициативу, но сроки внедрения не назвала.
Читайте в Telegram
|
Google, OpenAI, Microsoft и Anthropic будут учитывать общий запрет на обучение ИИ в файле robots.txt. Свои планы Google 30 октября описала в блоге.
Сейчас сайту, который не хочет отдавать тексты для обучения нейросетей, приходится перечислять в robots.txt каждого ИИ-робота или токен компании: GPTBot у OpenAI, ClaudeBot у Anthropic, Google-Extended у Google. Новый подход позволяет обойтись одним правилом: запись «User-Agent: __usage_ai-training» и «Disallow: /» запрещает обучение на всём сайте. Можно закрыть и только отдельные разделы.
Предложение подготовил Кевин Келли из Anthropic и направил его в Инженерный совет интернета (IETF). Пока это индивидуальный черновик: официального статуса стандарта у него нет, а рабочая группа IETF по предпочтениям для ИИ (AIPREF) продолжает обсуждение.
Сроки у компаний разные. Anthropic, по данным IT Home, уже начала внедрение, OpenAI обещает поддержку в ближайшие месяцы, Microsoft начнёт учитывать новые настройки с 1 февраля 2027 года, а Google рассчитывает добавить поддержку в 2027 году. По словам Google, общий запрет будет работать как запрет Google-Extended, если тот не указан в файле отдельно. Собственные настройки каждой компании сохранятся.
По словам Microsoft, настройка касается будущего обучения моделей. Для ИИ-ответов компания вводит отдельную настройку на уровне страницы: сайт сможет запретить Copilot, Microsoft 365 и другим сервисам Microsoft использовать страницу в ответах и при этом остаться в поисковой выдаче Bing.
Представитель Meta (признана в России экстремистской организацией) Энди Стоун, по данным китайского издания IT Home, поддержал идею общего сигнала, но планов по внедрению не назвал.
