Кодик кратко объясняет суть статьи
Anthropic повысила оценку рисков, связанных с её моделями, сместив уровень риска рассогласования с разработчиками с «очень низкого» до «низкого» из-за инцидентов в кибербезопасности и роста автономных возможностей моделей. Несмотря на это, компания не намерена замедлять разработку. Экспериментальную модель «Model 2», превосходящую по возможностям Mythos 5, решено оставить для внутреннего использования — её применяют для написания кода, работы с агентами и генерации данных, но выпускать публично не планируют. Anthropic отмечает, что текущие тесты уже хуже отражают реальный рост возможностей моделей. На фоне этого OpenAI, по данным Axios, временно приостанавливает выпуск модели Astra из-за риска наличия у неё критических киберспособностей.
Читайте в Telegram
|
Anthropic не планирует выпускать внутреннюю модель под названием «Model 2», которая, судя по всему, превосходит по возможностям флагманскую Mythos, — при этом разработку в целом компания не притормаживает.
Об этом со ссылкой на свежий отчёт Anthropic о рисках сообщает Axios. В компании пояснили, что в рамках обычного процесса разработки обучают и оценивают множество экспериментальных версий моделей, которые не собираются выпускать, и «Model 2» — одна из них.
Главное в отчёте — то, что Anthropic оценивает риск наиболее серьёзного вреда от своих моделей как по-прежнему низкий, но уже не такой низкий, как в прошлый раз. Общую оценку риска рассогласования (когда поведение модели расходится с намерениями разработчиков) в ситуациях с высокими ставками компания подняла с «очень низкой» до «низкой», сославшись на недавние инциденты в области кибербезопасности. Кроме того, у моделей появились признаки ускорения в способности автономно вести исследования и разработку — это может двигать технический прогресс, но и создаёт риск использования не по назначению.
Согласно отчёту, «Model 2» показывает «заметное улучшение» на многих внутренних задачах. Вместе с Mythos 5 её «активно» используют внутри компании для написания кода, работы с агентами и генерации данных — хотя прирост качества не такой резкий, как при переходе от Opus 4.6 к Mythos ранее в этом году.
«Пока у нас нет планов выпускать эту модель для внешнего использования», — говорится в документе. Речь идёт именно о внутренней экспериментальной модели, отдельной от публично доступных версий Claude.
Показательна и оговорка самой Anthropic: в оценке «Model 2» компания менее уверена, чем в прошлых отчётах, потому что её самые конкретные тесты, привязанные к задачам, перестают улавливать рост возможностей моделей.
