OpenAI внедряет невидимые водяные знаки для текста в ChatGPT и Codex

OpenAI объявила о внедрении технологии скрытых водяных знаков для текста в сервисы ChatGPT и Codex на территории Европейского союза.

Нововведение связано со вступлением в силу европейского закона об искусственном интеллекте, который обязывает создателей генеративных моделей делать сгенерированный текст распознаваемым для алгоритмов. В ближайшие недели невидимые метки появятся в ответах пользователей всех тарифов в странах ЕС.

Для клиентов API по всему миру опцию сделают доступной по выбору, а доступ к детектору меток на первых порах откроют исключительно проверенным исследователям и профильным организациям. В дальнейшем компанию планирует опубликовать исходный код технологии.

Фирменный метод textGrain внедряет малозаметный статистический паттерн на этапе подбора слов нейросетью. Согласно внутренним бенчмаркам на флагманской модели Astra, такое вмешательство практически не влияет на качество и точность генерации.

При этом разработчики признают серьёзные технические ограничения метода. Детектор хуже распознаёт короткие фрагменты и точные дисциплины вроде математики, где выбор формулировок сильно ограничен.

Кроме того, водяной знак разрушается при ручном редактировании: если заменить 10% слов синонимами в тексте из 400 токенов, точность распознавания падает с 92% до 66%, а замена четверти слов снижает показатель до 17%. В OpenAI также подчеркнули, что водяной знак не содержит данных о пользователе, не раскрывает введённые промпты и не подтверждает фактическую достоверность написанного.