Anthropic выпустила инструмент, который позволяет доказать, какая именно модель написала ответ
Кодик кратко объясняет суть статьи
Anthropic разработала FlashProve — систему, позволяющую криптографически подтвердить, что ответ сгенерирован конкретной моделью ИИ. Решение помогает защититься от подмены моделей посредниками или злоумышленниками. Поставщики заранее фиксируют модель криптографическим обязательством и добавляют к ответам доказательства её подлинности, сохраняя скрытость весов. Система основана на технологии zkSNARK, обеспечивающей быстрое подтверждение доказательств. Например, видеокарта H100 генерирует доказательства для модели Llama 4 Maverick со скоростью 110 токенов/секунду, проверка одного доказательства занимает около 17 секунд на процессоре. Протокол формально верифицирован на языке Lean, код опубликован на GitHub под лицензией Apache 2.0. Пока FlashProve является исследовательским прототипом с ограничениями: поддерживает контексты до 1024 токенов и не скрывает архитектуру модели.
Читайте в Telegram
|
Anthropic представила FlashProve — открытую систему, которая криптографически доказывает, что ответ сгенерировала именно заявленная модель ИИ.
Сейчас пользователь не может проверить, что ему ответила выбранная модель, а не более дешёвая, которую ради экономии тайно подставил сервис-посредник или злоумышленник, подменивший поток токенов. Исследователи допускают и другой сценарий, когда более мощная модель выдаёт себя за слабую, чтобы обойти мониторинг.
В FlashProve поставщик заранее фиксирует модель криптографическим обязательством (commitment) и прикладывает к каждому ответу доказательство, что ответ дала именно она. Веса модели при этом остаются скрытыми.
В основе системы лежит zkSNARK — краткое доказательство с нулевым разглашением, которое проверяется намного быстрее самого вычисления. Такие доказательства уже применяют в блокчейнах. По словам Anthropic, улучшения в схему внёс сам Claude, и система работает на порядки быстрее прежних открытых решений.
Для модели Llama 4 Maverick на 400 млрд параметров с весами, сжатыми до 4 бит, одна видеокарта H100 выдаёт доказательства со скоростью около 110 токенов в секунду, на запрос в 1024 токена приходится примерно 19 МБ. Это в 70–95 раз больше времени видеокарты, чем обычный запуск модели через vLLM. Проверка одного доказательства занимает около 17 секунд на процессоре с 24 потоками, видеокарта для неё не нужна.
Решения Claude трудно проверить вручную, поэтому свойства протокола доказаны на языке формальной верификации Lean. Для быстрого рабочего кода формальных гарантий нет. Код, спецификация и доказательства опубликованы на GitHub под лицензией Apache 2.0.
Пока FlashProve остаётся исследовательским прототипом. Он работает только с контекстом до 1024 токенов и не скрывает архитектуру модели. Доказательство относится к целочисленной версии модели с детерминированной генерацией, поэтому при обычной случайной выборке токенов ответ может с ним разойтись.
«Эта публикация рассказывает о промежуточных результатах, а не о завершённой программе исследований», — пишут авторы.
