Кодик кратко объясняет суть статьи
Исследование учёных из Университета Южной Калифорнии показало, что назначение нейросети роли «эксперта» может ухудшать её производительность в задачах, требующих точных знаний, таких как математика и программирование: точность падает с 71,6% до 68%. Это происходит потому, что модель начинает следовать инструкциям, игнорируя фактические данные. В то же время ролевые подсказки эффективны для задач безопасности и стилистики — например, роль «монитора безопасности» повышает отказ от вредоносных команд почти на 18%. Учёные советуют избегать общих формулировок вроде «ты опытный разработчик» и вместо этого чётко описывать требования. Для решения проблемы создан алгоритм PRISM, который активирует ролевые модели только при необходимости. Главный вывод: для фактов — прямые вопросы, для правил — подробные инструкции.
Читайте в Telegram
|
Просьба к искусственному интеллекту сыграть роль «эксперта» зачастую лишь ухудшает результаты его работы. Об этом сообщает The Register со ссылкой на новое исследование.
Учёные из Университета Южной Калифорнии выяснили, что назначение нейросети определённой роли даёт смешанные результаты. Для задач, требующих точных знаний, таких как математика или программирование, этот метод оказался вредным.
Причина кроется в том, что ИИ переключается в режим следования инструкциям, забывая об извлечении фактов из базы. В тестах базовая модель показала точность 71,6%, тогда как «экспертная» — лишь 68%.
Однако ролевые подсказки отлично работают для задач, связанных с безопасностью и стилем текста. Например, роль «монитора безопасности» повысила уровень отказа ИИ от выполнения вредоносных команд почти на 18%.
Соавтор исследования Цзычжао Ху отмечает, что общие фразы вроде «ты опытный разработчик» не приносят пользы. Вместо этого лучше чётко описывать конкретные требования к архитектуре проекта.
Чтобы решить эту проблему, исследователи создали алгоритм PRISM, который включает ролевые модели только там, где они действительно нужны. Главный совет учёных: для фактов задавайте прямые вопросы, а для правил — пишите подробные инструкции.
