인공지능 때문에 오히려 손해를 볼 수도 있다: 금융 챗봇의 오류에 대한 연구 결과
돈을 잃지 마세요! 새로운 연구에 따르면 AI와 챗봇이 금융 관련 답변에서 오류를 범하는 것으로 나타났습니다. 지금 바로 진실을 확인하세요.
가장 중요한 사항들
- 새턴의 연구에 따르면 금융 자문용 AI 모델의 평균 정확도는 43%에 불과하며, 복잡한 세금 및 금융 시나리오에서는 12%까지 떨어져 상당히 신뢰할 수 없는 것으로 나타났습니다.
- 금융 챗봇은 해외 이주를 통해 학자금 대출 상환을 피할 수 있다거나 주택담보대출 상환 유예가 신용 등급에 영향을 미치지 않는다는 등 잘못되고 위험한 조언을 제공하여 심각한 재정적 결과를 초래할 수 있습니다.
- 클로드 오푸스 5와 같이 가장 성능이 뛰어난 유료 AI 모델조차도 금융 자문에서 61%의 성공률만 달성했으며, 거의 10건 중 4건에서 오류를 범했고, 복잡한 질문에서는 오류율이 67%에 달했습니다.
인공지능 사용자들이 금융 관련 문의에 도움을 받기 위해 인공지능이 제공하는 방대한 지식을 활용하는 것은 놀라운 일이 아닙니다 .
통계 자료만 봐도 알 수 있습니다. Intuit Credit Karma가 작성하고 Credit Karma 가 자세히 설명한 데이터에 따르면 , 이전에 생성형 인공지능(GenAI)을 사용해 본 경험이 있는 미국인 중 66%가 재정 관련 조언을 구하기 위해 사용했다고 응답했으며, 밀레니얼 세대와 Z세대에서는 이 수치가 82%까지 상승합니다. 재정 관련 질문에 대한 AI 활용은 가장 흔한 응용 분야 중 하나로, '재정'은 건강 및 웰빙(44%)에 이어 GenAI의 두 번째로 빈번한 사용 사례 (41%)로 꼽혔습니다.
인공지능 및 기술 기업인 새턴(Saturn)의 또 다른 연구(일명 "인공지능 권위 보고서")에 따르면, 인공지능을 금융 자문가로 활용하는 것은 현명한 결정이 아닐 수 있습니다. 새턴의 도메인(Domain) 팀은 ChatGPT , Gemini, Cloud, Copilot 등 가장 인기 있는 AI 도구 18개를 테스트한 후 이러한 결론에 도달했습니다.
새턴의 모든 조사 결과는 한 가지 흥미로운 결론을 시사합니다. 바로 챗봇은 진정한 금융 조언을 구할 때 완전히 신뢰할 수 있는 도구는 아니라는 것입니다.
기준점이 된 토성 연구는 매우 우려스러운 결과를 보여주었습니다.
새턴 보고서에서 가장 눈에 띄는 통계는 AI 모델이 재무 관련 질문에 대해 정답보다 오답을 내놓는 경우가 더 많았다는 점입니다.
Saturn이 테스트한 17개 AI 모델의 평균 정확도는 43%였으며, 이는 챗봇이 금융 관련 질문에 57%의 확률로 잘못된 답변을 했다는 것을 의미합니다. 더욱 정확한 세금 규정과 재무 수치를 다루는 복잡하고 여러 단계를 거치는 시나리오를 제시했을 때, 테스트 대상 AI 도구의 정확도는 12%까지 떨어졌고, 오류 발생률은 88%에 달했습니다.
예상대로 테스트에 사용된 무료 AI 모델은 63%의 실패율을 기록한 반면, 유료 모델은 49%의 실패율을 보였습니다. Claude Haiku 4.5는 82%의 확률로 부정확하거나 불완전한 답변을 제공하여 최악의 성능을 보인 무료 모델이었습니다. 반면 ChatGPT-5.6 Luna(max)는 56%의 확률로 부정확하거나 불완전한 답변을 제공했음에도 불구하고 최고의 성능을 보인 무료 모델로 나타났습니다.
테스트된 모든 모델 중에서 새턴의 연구 결과에 따르면 앤트로픽의 유료(추론형) 챗봇인 클로드 오푸스 5가 61%의 성공률로 가장 우수한 성능을 보였습니다. 하지만 이 수치는 클로드 오푸스 5가 금융 자문 제공에 있어 최고의 성능을 보이는 챗봇임을 시사합니다. 그럼에도 불구하고, 클로드 오푸스 5는 10건 중 거의 4건에서 정답을 제시하지 못했습니다. 더 복잡한 질문을 받았을 때도 67%의 확률로 오류를 범했습니다.
새턴 연구에서 가장 우려스러운 점은 테스트한 AI 모델에서 발견된 구체적인 오류들을 상세하게 분석했다는 것입니다. 이러한 오류들은 심각한 재정적 결과를 초래할 수 있습니다. 예를 들어, 한 모델은 대학 졸업생이 해외로 이주하면 학자금 대출 상환을 중단할 수 있다고 제안했습니다(실제로는 월 상환액이 증가할 수 있습니다). 또 다른 모델인 제미니는 대출자에게 주택담보대출 상환 유예가 신용 점수에 영향을 미치지 않는다고 잘못 알려주었습니다. 챗봇의 한계에 대한 더 자세한 내용은 '흔히 발생하는 성가신 사각지대'에 대한 저희 기사를 참조하십시오.
결론
새턴 보고서는 많은 AI 사용자들이 깨달아야 할 실망스러운 사실을 지적합니다. AI가 제공하는 금융 조언은 여전히 신뢰할 수 없으며, 잠재적인 이익보다는 오히려 사용자에게 상당한 재정적 손실을 초래할 수 있다는 것입니다.
EY 가 2026년 3월에 발표한 보고서 에 따르면 응답자의 53%는 금융 투자 결정을 내릴 때 AI 비서를 사용하는 것을 선호 했고, 14%는 독립형 AI를 선호했으며, 33%는 그러한 경우에 어떤 형태의 AI도 사용하지 않겠다고 답했습니다.
새턴의 연구 결과에 따르면, AI 사용자들이 부채 관리, 학자금 대출, 주택 담보 대출, 연금, 상속세, 은퇴 계획 등과 같은 개인적인 질문을 챗봇에게 하지 않게 되면서 (독립형 AI의 경우) 이 14%라는 수치가 상승할 가능성이 있습니다.
댓글이 닫혔습니다.