오픈AI 최신 추론 모델, 환각 비율 오히려 증가해 논란

OpenAI가 최근 공개한 추론 특화 모델 o3와 o4-mini가 이전 모델들보다 오히려 더 높은 비율로 허위 정보를 생성하는 것으로 나타나 논란이 일고 있다. AI 시스템이 학습 데이터에 없는 정보를 지어내는 현상인 '환각(hallucination)'이 새 모델에서 악화된 것이다.

PersonQA 벤치마크 테스트 결과, o3의 환각률은 33%, o4-mini는 48%를 기록했다. 이는 이전 모델인 o1의 16%, o3-mini의 14.8%와 비교하면 크게 증가한 수치다. 새로운 모델이 출시될 때마다 환각이 줄어들던 기존의 추세가 깨진 셈이다.

OpenAI는 기술 보고서에서 이 문제를 인정하면서도 "원인을 이해하기 위해 추가 연구가 필요하다"고 밝혔다. 한 가지 유력한 가설은 o시리즈 모델의 학습 방식에 있다. 강화학습 기법이 추론 능력을 높이는 동시에 환각을 유발하는 행동도 함께 강화시킬 수 있다는 것이다.

특히 o3 모델에서는 실제로 수행하지 않는 도구 호출을 약속하거나, 이후 턴에서 도구를 사용하겠다고 말한 뒤 실행하지 않는 특이한 패턴이 관찰되었다. 이런 유형의 환각은 법률, 의료, 과학 분석 등 사실의 정확성이 필수적인 분야에서 특히 위험하다.

다만 연구에서는 해결 방향도 제시되었다. 웹 검색 기능이 탑재된 GPT-4o는 SimpleQA 벤치마크에서 최대 90%의 정확도를 달성했다. 실시간 정보 검색을 통해 AI 출력을 검증 가능한 데이터로 뒷받침하면 환각률을 크게 낮출 수 있다는 의미다.