Исследование: популярные ИИ-модели ошибаются в финансовых советах в 57 % случаев

Пять популярных ИИ-моделей дают неверные ответы на финансовые вопросы в среднем в 57 % случаев. Об этом сообщает IFA Magazine со ссылкой на исследование Saturn.

Финтех-компания Saturn проверила 18 популярных ИИ-моделей — как бесплатных, так и по подписке — на 121 вопросе о деньгах: долгах, ипотеке, пенсиях, налогах, сбережениях и студенческих ссудах. Каждый вопрос задавали по пять раз, всего модели обработали более 10 000 запросов. Верными оказались лишь 43 % ответов.

На сложных вопросах, где требовалось более одного вычисления, точность резко падала: в среднем модели ошибались в 88 % случаев, а отдельные — в 99 %. Помимо арифметических ошибок исследователи фиксировали выдуманные правила, пропущенные предупреждения о рисках и игнорирование грядущих изменений в налоговом законодательстве.

Платные версии отвечали точнее бесплатных: 49 % ошибок против 63 %. Худший результат показала бесплатная Claude Haiku 4.5 — 82 % неверных ответов, следом Gemini 3.1 Pro с 73 %. Лучше всех справилась Claude Opus 5 в режиме рассуждений: 39 % ошибок.

Отдельные ошибки могли дорого обойтись. Из-за неверной трактовки правил пенсионного налогообложения та же Claude Haiku 4.5 могла подвести британца под штраф в 17 500 фунтов стерлингов от налоговой службы. В другом случае модель сама придумала правило, по которому выпускник вуза якобы вправе прекратить выплаты по студенческой ссуде при переезде за границу. Модель Gemini ошибочно заверила заёмщика, что ипотечные каникулы не повредят кредитной истории.

«Некоторые из самых популярных моделей давали неверный ответ на финансовые вопросы чаще, чем верный», — заявил гендиректор Saturn Амаль Джолли.

Как отмечает Financial Times, финансовым консультантам платформы AJ Bell уже приходится вмешиваться в действия клиентов, которые следуют рекомендациям ИИ. При этом эксперты признают, что модели неплохо анализируют доходы и расходы и помогают оптимизировать бюджет. По данным Saturn, советы ИИ в финансовой сфере пока никак не регулируются, поэтому потерявшие деньги пользователи не смогут претендовать на компенсацию, в отличие от клиентов живых консультантов.