ArXiv, AI 슬롭 논문 업로드 저자에 1년 차단·이후 피어리뷰 통과 의무화

학계가 널리 이용하는 사전 인쇄(preprint) 플랫폼 ArXiv가 'AI 슬롭(slop)' 논문 유입을 줄이기 위한 새 조치를 내놨다. 저자가 LLM 생성 결과를 직접 검토하지 않았다는 명백한 증거가 논문에 남아 있을 경우, 해당 저자를 ArXiv에서 1년간 차단하기로 한 것이다.

ArXiv 컴퓨터과학 섹션 체어 토머스 디터리히(Thomas Dietterich)는 X(옛 트위터)에 이 정책을 공지하며, 1년 차단 이후에도 해당 저자가 ArXiv에 다시 논문을 올리려면 먼저 '정평 있는 피어리뷰 학회·저널(reputable peer-reviewed venue)'에서 게재가 승인돼야 한다고 밝혔다.

디터리히는 ArXiv 행동 강령상 저자가 논문에 서명한 이상, 콘텐츠가 어떻게 생성됐든 모든 내용에 대해 저자가 전적인 책임을 진다고 강조했다. 생성형 AI 도구가 만들어 낸 부적절한 표현, 표절, 편향된 내용, 오류, 잘못된 참조 등이 포함되어도 결과 책임은 저자에게 있다는 것이다.

정책이 적용되는 '명백한 증거(incontrovertible evidence)'의 예시로는 존재하지 않는 자료를 인용한 환각 참조, 그리고 LLM이 남긴 메타 코멘트가 제시됐다. 디터리히가 인용한 메타 코멘트 사례에는 '여기 200단어 요약입니다. 수정해 드릴까요?'나 '이 표의 데이터는 예시이며, 실제 실험 수치로 채워 넣으세요' 같은 문구가 포함된다.

차단 결정에는 항소가 가능하다. 디터리히는 404Media와의 인터뷰에서 이 정책이 '명백한 증거가 있는 사례'에만 적용되며, 내부 절차상 먼저 모더레이터가 문제를 문서화한 뒤 섹션 체어가 이를 확인해야만 처벌이 부과된다고 설명했다.

ArXiv는 작년에도 AI 슬롭을 줄이기 위해 정책을 한 차례 손봤다. 컴퓨터과학 분야의 리뷰 논문과 포지션 페이퍼는 학회나 저널에서 피어리뷰를 거쳐 게재가 승인된 경우에만 ArXiv에 올릴 수 있도록 한 것이다.

당시 ArXiv는 '대형 언어 모델의 등장으로 이런 유형의 콘텐츠를 손쉽게 양산할 수 있게 됐고, 우리가 받는 리뷰 논문 대다수는 미해결 연구 쟁점에 대한 실질적 논의가 없는 주석 달린 참고문헌 수준에 머문다'고 정책 변경 배경을 설명한 바 있다.