스프링거 네이처, ChatGPT 교육 효과 메타분석 논문 게재 약 1년 만에 철회… 51개 연구 종합 주장에 에든버러대 윌리엄슨 '저질 연구 혼합' 비판, 누적 504회 인용·조회 약 50만

OpenAI의 ChatGPT가 학생 학습에 긍정적 영향을 미친다고 주장한 연구 논문이 게재 약 1년 만에 철회됐다. 학술지 발행사 스프링거 네이처(Springer Nature)는 분석상의 'discrepancies'(불일치)와 결론에 대한 신뢰 부족을 이유로 들었다.

철회된 논문은 'ChatGPT가 학생의 학습 성과, 학습 인식, 고차원적 사고에 미치는 영향'을 정량화하기 위해 기존 연구 51건을 메타분석했다. ChatGPT를 사용한 실험군과 사용하지 않은 대조군 간 효과 크기(effect size)를 계산하는 방식이었다.

저자들은 분석 결과를 토대로 'ChatGPT가 학습 성과 향상에 큰 긍정적 영향을 미친다', '학습 인식 강화에 중간 수준의 긍정적 영향을 미친다', '고차원적 사고를 촉진한다'고 주장했다. 해당 결과는 2025년 5월 6일 스프링거 네이처가 발행하는 학술지 'Humanities & Social Sciences Communications'에 처음 게재됐다.

스코틀랜드 에든버러대학교 디지털 교육 연구센터(Centre for Research in Digital Education) 및 에든버러 미래연구소(Edinburgh Futures Institute) 선임강사 벤 윌리엄슨(Ben Williamson)은 Ars Technica에 보낸 이메일에서 '저자들이 ChatGPT의 학습 효과에 관해 매우 이목을 끄는 주장을 했다'며 '소셜미디어에서 많은 사람이 이 논문을 ChatGPT와 생성형 AI가 학습자에게 도움이 된다는 첫 번째 골드 스탠더드 증거 중 하나로 받아들였다'고 평가했다.

윌리엄슨은 또 '경우에 따라 매우 낮은 품질의 연구를 종합하거나, 매우 다른 방법·모집단·표본으로 인해 정확히 비교할 수 없는 연구들의 결과를 함께 섞었던 것으로 보인다'며 '애초에 게재되지 말았어야 할 논문이라는 인상이 강했다'고 비판했다.

윌리엄슨은 OpenAI가 2022년 11월 ChatGPT를 공개한 시점을 감안할 때 출시 약 2년 6개월 만에 게재된 이번 논문의 시기에도 의문을 제기했다. 그는 '그 짧은 시간 안에 ChatGPT와 학습 성과에 관한 수십 건의 고품질 연구가 수행·심사·게재됐을 가능성은 없다'고 지적했다.

철회 결정에도 불구하고 영향력은 상당했다. 게재 이후 해당 연구는 스프링거 네이처가 발행하는 동료 평가 학술지에서 262회 인용됐고, 동료 평가 및 비동료 평가 출처를 합치면 총 504회 인용됐다. 독자는 약 50만 명에 달했고, 온라인 주목도 점수(attention score)에서는 학술지 논문 중 99 백분위에 들 만큼 큰 관심을 받았다.