
Финтех-компания Saturn проверила 18 популярных ИИ-моделей на 121 вопросе о деньгах: долгах, ипотеке, пенсиях, налогах, сбережениях и студенческих ссудах. Каждый вопрос задавали по пять раз, всего модели обработали более 10 000 запросов. Верными оказались лишь 43 % ответов, сообщает IFA Magazine.
На сложных вопросах, где требовалось более одного вычисления, точность резко падала: в среднем модели ошибались в 88 % случаев, а отдельные - в 99 %. Помимо арифметических ошибок исследователи фиксировали выдуманные правила, пропущенные предупреждения о рисках и игнорирование грядущих изменений в налоговом законодательстве.
Платные версии отвечали точнее бесплатных: 49 % ошибок против 63 %. Худший результат показала бесплатная Claude Haiku 4.5 - 82 % неверных ответов, следом Gemini 3.1 Pro с 73 %. Лучше всех справилась Claude Opus 5 в режиме рассуждений: 39 % ошибок.
Отдельные ошибки могли дорого обойтись. Из-за неверной трактовки правил пенсионного налогообложения та же Claude Haiku 4.5 могла подвести британца под штраф в 17 500 фунтов стерлингов от налоговой службы. В другом случае модель сама придумала правило, по которому выпускник вуза якобы вправе прекратить выплаты по студенческой ссуде при переезде за границу. Модель Gemini ошибочно заверила заёмщика, что ипотечные каникулы не повредят кредитной истории.
«Некоторые из самых популярных моделей давали неверный ответ на финансовые вопросы чаще, чем верный», - заявил гендиректор Saturn Амаль Джолли.
Как отмечает Financial Times, финансовым консультантам платформы AJ Bell уже приходится вмешиваться в действия клиентов, которые следуют рекомендациям ИИ. При этом эксперты признают, что модели неплохо анализируют доходы и расходы и помогают оптимизировать бюджет.
По данным Saturn, советы ИИ в финансовой сфере пока никак не регулируются, поэтому потерявшие деньги пользователи не смогут претендовать на компенсацию, в отличие от клиентов живых консультантов.
Подписчики ChatGPT, Claude и Gemini обвинили разработчиков в сговоре ради замедления ИИ
Один хакер атаковал Fetch.ai, NuNet и SingularityNET и выпустил токенов на сотни миллионов
Sony объяснила в суде, почему покупатели цифровых игр не становятся их владельцами
Конференция Bitcoin Asia вернется в Гонконг в августе 2027 года
Apple перестраивает магазины: возвращает стойки Genius Bar и убирает видеостены