AI 학회 NeurIPS 논문서 '환각 인용' 발견...학술 무결성 위기

AI 탐지 기술 스타트업 GPTZero가 세계에서 가장 권위 있는 인공지능 학회 중 하나인 NeurIPS(Neural Information Processing Systems)에 발표된 논문들에서 실제로 존재하지 않는 '환각 인용(hallucinated citations)'을 발견했다고 밝혔다. 이는 AI 도구가 학술 연구 워크플로우에 널리 사용되면서 학술 출판 분야에서 나타나고 있는 심각한 위기를 보여주는 사례로 평가받고 있다.

이번 발견의 가장 큰 아이러니는 AI 기술을 다루는 논문들 자체가 AI가 생성한 오류를 포함하고 있다는 점이다. AI 언어 모델이 그럴듯하게 들리지만 실제로는 존재하지 않는 정보를 만들어내는 '환각(hallucination)' 현상이 AI 연구 논문에서까지 발견된 것이다. 연구자들이 AI 도구를 활용하는 과정에서 생성된 가짜 참고문헌을 적절한 검증 없이 그대로 사용한 것으로 추정된다.

GPTZero의 연구 결과는 현재 학술지와 학회의 동료 심사(peer review) 시스템이 이러한 조작된 참고문헌을 효과적으로 식별하지 못하고 있음을 시사한다. NeurIPS와 같은 최상위 학회에서조차 이런 문제가 발견되었다는 것은 학술 출판 전반의 검증 체계에 대한 근본적인 의문을 제기한다. 심사자들이 수백 개의 참고문헌을 일일이 확인하기 어렵다는 현실적 한계가 드러난 셈이다.

이번 사건은 AI 도구가 쉽게 접근 가능해진 시대에 권위 있는 학술 컨퍼런스들이 직면한 더 광범위한 도전 과제를 보여준다. 많은 연구자들이 문헌 조사나 글쓰기 과정에서 AI 어시스턴트를 활용하고 있지만, 이들 도구가 생성하는 정보의 정확성을 충분히 검증하지 않는 경우가 많다. 특히 시간에 쫓기는 연구 환경에서 AI가 제시한 인용을 그대로 신뢰하는 경향이 있다.

학계는 이제 AI 시대에 맞는 새로운 학술 무결성 검증 시스템을 구축해야 하는 과제를 안게 됐다. 일부 전문가들은 자동화된 인용 검증 도구의 도입, 저자의 AI 사용 공개 의무화, 심사 과정의 강화 등을 해결책으로 제시하고 있다. 아이러니하게도 AI가 만든 문제를 해결하기 위해 또 다른 AI 기술이 필요할 수 있다는 지적도 나온다.

이번 발견은 AI 기술이 학술 연구에 가져온 생산성 향상의 이면에 존재하는 위험을 명확히 보여준다. NeurIPS와 같은 정상급 학회가 이 문제를 어떻게 해결하느냐에 따라 향후 학술 출판 전반의 신뢰성 확보 방향이 결정될 것으로 보인다. 학계는 기술 발전의 혜택을 누리면서도 학술적 엄밀성이라는 근본 가치를 지켜야 하는 어려운 균형을 찾아야 하는 상황이다.

GPTZero의 이번 연구는 AI 탐지 기술이 단순히 학생들의 과제 표절을 잡는 것을 넘어 학술 출판의 품질 관리에도 중요한 역할을 할 수 있음을 보여줬다. AI 시대 학술 연구의 신뢰성 확보는 이제 전체 학계가 함께 해결해야 할 시급한 과제로 떠올랐다.