Компания OpenAI объявила о выпуске сервиса, который способен выявлять тексты, сгенерированные с помощью нейросетей, включая собственную разработку компании – ChatGPT.
Запущенный классификатор призван помочь выявлять использование ИИ для распространения дезинформации, а также злоупотреблений в сфере образования.
Однако в компании отметили, что классификатор не является полностью надёжным инструментом. В ходе тестов компании он правильно определил 26% написанных ИИ текстов. Однако, в 9% случаев он ошибся и назвал текст, написанный человеком, как сгенерированный нейросетью.
Уточняется, что степень точности классификатора повышается по мере увеличения длины проверяемого текста. Классификатор будет общедоступен для всех пользователей, сейчас компания собирает отзывы об инструменте.
Принцип работы классификатора пока не описывается подробно. Однако, эксперты института искусственного интеллекта AIRI считают, что распознавание сгенерированных текстов происходит с помощью скрытых стилистических приёмов нейросети, которые служат водяными знаками в тексте.
Вероятнее всего, решение системы уже сейчас базируется на наличии так называемых скрытых водяных знаков (watermark), о которых недавно рассказывал специалист отдела безопасности ИИ в OpenAI.
Watermark для текстов строятся с помощью криптографических функций. Известно, что человек, как и нейросеть, генерирует фразы следуя некоторому статистическому шаблону. Именно наличие этих специфичных шаблонов можно использовать как водяные знаки.
При генерации нового символа, в модели присутствует некоторая случайность («псевдослучайность») для того, чтобы ответы на один и тот же запрос были разнообразными. При генерации символов можно использовать эту псевдослучайность для определения специфичного порядка расстановки слов и символов в сгенерированном тексте, характеризующего контент, созданный сетью, – заявил научный сотрудник Института искусственного интеллекта AIRI, Елизавета Гончарова.
Читать первым в Telegram-канале «Код Дурова»
