교황 레오 14세 AI 회칙, 본문 자체가 AI로 작성됐나… Pangram 검사 46% 판정

더 버지가 교황 레오 14세의 첫 AI 회칙 'Magnifica Humanitas' 본문 일부가 AI로 작성됐을 가능성이 제기됐다고 전했다. 인공지능 글 탐지 도구 Pangram의 분석 결과 본문 단락별로 40%에서 100%까지 AI 생성으로 추정되는 부분이 발견됐다.

토론 포럼 LessWrong에 분석을 게시한 Linch Zhang은 회칙에서 'genuinely'라는 단어가 이전 회칙들보다 자주 등장한다고 지적했다. 'genuinely'는 앤스로픽 Claude가 자주 사용하는 단어로 알려져 있다.

또 다른 분석가는 회칙 본문을 섹션별로 Pangram에 넣어 1장의 62%가 AI 생성으로 표시됐다고 보고했다. 더 버지가 회칙 본문 약 2,000단어를 직접 Pangram에 입력했을 때는 46%가 AI 작성으로 추정됐다.

동시에 회칙 안에서 Pangram이 'essentially 0% AI'로 판정한 인간 작성 영역도 함께 나왔다. Linch Zhang의 동일 검사 방식으로 직전 회칙 4편의 첫 20개 단락을 분석했을 때는 100% 인간 작성으로 나왔고, 교황 레오 14세의 회칙 발표 연설 전사문도 100% 인간 작성으로 판정됐다.

더 버지는 AI 탐지기가 결정적인 증거는 아니라고 단서를 달았다. 같은 텍스트라도 탐지기마다 결과가 다를 수 있고, 결과가 일치한다 해도 항상 정확하다고 보장할 수는 없다는 설명이다.

다만 Pangram은 AI 연구자들 사이에서 비교적 신뢰받는 도구로 통하며, 2025년 3월 회사는 자체 추정한 위양성률이 약 1만 분의 1 수준이라고 밝힌 바 있다.

'Magnifica Humanitas'는 교황 레오 14세의 첫 회칙이자 AI를 전면적으로 다룬 최초의 회칙이다. 발표 자리에는 앤스로픽 공동창업자 크리스토퍼 올라가 함께했으며, 더 버지는 바티칸이 이번 의혹에 관한 입장 요청에 즉시 답하지 않았다고 덧붙였다.