Anthropic выпустила инструмент, который позволяет доказать, какая именно модель написала ответ

Anthropic представила FlashProve — открытую систему, которая криптографически доказывает, что ответ сгенерировала именно заявленная модель ИИ.

Сейчас пользователь не может проверить, что ему ответила выбранная модель, а не более дешёвая, которую ради экономии тайно подставил сервис-посредник или злоумышленник, подменивший поток токенов. Исследователи допускают и другой сценарий, когда более мощная модель выдаёт себя за слабую, чтобы обойти мониторинг.

В FlashProve поставщик заранее фиксирует модель криптографическим обязательством (commitment) и прикладывает к каждому ответу доказательство, что ответ дала именно она. Веса модели при этом остаются скрытыми.

В основе системы лежит zkSNARK — краткое доказательство с нулевым разглашением, которое проверяется намного быстрее самого вычисления. Такие доказательства уже применяют в блокчейнах. По словам Anthropic, улучшения в схему внёс сам Claude, и система работает на порядки быстрее прежних открытых решений.

Для модели Llama 4 Maverick на 400 млрд параметров с весами, сжатыми до 4 бит, одна видеокарта H100 выдаёт доказательства со скоростью около 110 токенов в секунду, на запрос в 1024 токена приходится примерно 19 МБ. Это в 70–95 раз больше времени видеокарты, чем обычный запуск модели через vLLM. Проверка одного доказательства занимает около 17 секунд на процессоре с 24 потоками, видеокарта для неё не нужна.

Решения Claude трудно проверить вручную, поэтому свойства протокола доказаны на языке формальной верификации Lean. Для быстрого рабочего кода формальных гарантий нет. Код, спецификация и доказательства опубликованы на GitHub под лицензией Apache 2.0.

Пока FlashProve остаётся исследовательским прототипом. Он работает только с контекстом до 1024 токенов и не скрывает архитектуру модели. Доказательство относится к целочисленной версии модели с детерминированной генерацией, поэтому при обычной случайной выборке токенов ответ может с ним разойтись.

«Эта публикация рассказывает о промежуточных результатах, а не о завершённой программе исследований», — пишут авторы.