와이어드 'ChatGPT·Claude·제미나이로 금융 조언 받기 전 다시 생각할 5가지 이유'… 환각·아첨·민감정보 업로드·책임 부재·인간 자문가 동기 저하

와이어드가 ChatGPT, Claude, Gemini 같은 챗봇을 금융 조언에 활용하기 전 다시 생각해야 할 5가지 이유를 보도했다. 기자는 자신이 ChatGPT에 월급, 공과금, 정기 지출을 입력해 예산을 작성한 경험이 도움이 됐다고 인정하면서도 한계를 분명히 인지해야 한다고 강조했다.

OpenAI 대변인 니코 펠릭스(Niko Felix)는 '수백만 명이 부채 이해, 예산 작성, 금융 개념 학습 등 돈과 관련된 질문을 가지고 ChatGPT를 찾는다'며 'ChatGPT는 옵션 탐색과 질문 준비, 금융 주제 이해를 돕는 유용한 도구지만 면허 보유 금융 전문가를 대체하지 않는다'고 밝혔다. OpenAI 이용약관도 ChatGPT가 전문 금융 자문을 대체할 수 없다고 명시한다.

첫 번째 이유는 AI가 여전히 자신감 있게 틀린 답을 출력한다는 점이다. NYU의 기술경영·통계학 교수 스리칸트 자가바툴라(Srikanth Jagabathula)는 '최근 모델 출시로 환각 비율이 줄었다는 인식이 캐주얼 사용자들 사이에 생기고 있지만 사실이 아니다. 챗봇은 근본적으로 통계 기계로, 진실에 대한 개념이 없다'고 지적했다. 와이어드는 챗봇에게 출력 내용을 다시 점검해 달라고 요청하는 단순한 방법으로도 자주 문제를 발견할 수 있다고 덧붙였다.

두 번째는 챗봇이 사용자 의견에 동조하는 'sycophancy(아첨)' 경향이다. 올해 초 학술지 사이언스(Science)에 게재된 연구는 'AI 아첨은 단순한 스타일 문제나 틈새 리스크가 아니라 광범위한 후속 결과를 가진 일반적 행동'이라며 '긍정이 지지처럼 느껴질 수 있지만 sycophancy는 사용자의 자기 교정과 책임 있는 의사결정 능력을 약화시킬 수 있다'고 결론지었다. 인간 자문가는 잘못된 사전 가정에 반박하지만 챗봇은 사용자의 편을 드는 차이가 있다.

세 번째는 더 나은 답을 얻으려면 민감 정보를 업로드해야 한다는 점이다. 기자가 ChatGPT에게 예산 개선 방법을 물었을 때 챗봇은 '더 많은 실제 데이터를 공유할수록 더 정확한 감사가 가능하다… 은행 계좌·신용카드의 CSV나 스크린샷을 업로드하면 항목 분류, 정확한 지출 패턴 계산, 숨겨진 누수 식별, 정밀한 월간 예산 수립이 가능하다'고 답했다. 설정을 조정하지 않으면 모든 ChatGPT 대화가 OpenAI의 도구 개선과 미래 모델 학습 데이터로 사용될 수 있어 'data controls' 탭에서 변경이 필요하다.

네 번째는 책임 부재다. 자가바툴라는 '마지막 마일에서, 즉 아이디어 생성에서 실제 행동으로 옮기는 단계에서는 사람 전문가가 계획을 검토하고 조정·수정해야 한다'고 말했다. 신탁 의무를 지는 자문가(fiduciary adviser)는 이해 충돌 공시와 고객 최선 이익 추천이 법적으로 강제되며 위반 시 결과를 받지만, 챗봇은 인간 윤리 기준에서 작동하지 않고 실수에 대한 결과도 동일하지 않다고 와이어드는 정리했다.

다섯 번째는 챗봇 사용이 인간 자문가의 의욕을 떨어뜨릴 수 있다는 점이다. 학술지 'Computers in Human Behavior'에 발표된 연구는 '고객이 인간이 아닌 AI에 자문을 구한 사실을 알게 되면 담당 자문가의 해당 고객과 일하려는 동기가 감소했다. 고객이 AI를 배경 정보용이나 보완 자료로만 썼더라도 효과가 지속됐다'고 보고했다. 저자들은 챗봇으로 자문을 재검토한 고객이 자문가에게 무례하게 비쳐 자문가가 관여 의지를 잃은 것으로 추정했다.