퍼플렉시티, AI 스크래핑 차단 웹사이트 무단 크롤링 폭로

주요 인터넷 인프라 기업 클라우드플레어(Cloudflare)가 퍼플렉시티 AI(Perplexity AI)가 AI 스크래핑을 명시적으로 차단한 웹사이트를 계속 크롤링하고 있다고 폭로했다. 사이트 운영자들이 robots.txt 파일 등 기술적 차단 메커니즘을 구현했음에도 이를 무시한 것으로 드러났다.

이번 폭로는 AI 기업의 데이터 수집 관행에 대한 심각한 의문을 제기한다. 웹사이트 운영자들은 자동화된 접근을 방지하기 위한 합법적인 도구를 보유하고 있으며, 이러한 보호 장치를 우회하는 행위는 콘텐츠 저작권과 웹 생태계의 기본 규칙을 위반하는 것이다.

퍼플렉시티는 이전에도 무단 스크래핑 논란에 휘말린 바 있어, 이번 폭로가 더욱 주목받고 있다. AI 검색 서비스의 핵심은 외부 콘텐츠를 수집·종합하는 것이지만, 콘텐츠 제작자의 의사를 무시하는 방식은 지속 가능하지 않다.

AI 기업들의 공격적인 데이터 수집과 콘텐츠 저작권 보호 사이의 갈등은 AI 산업의 핵심 쟁점으로 부상하고 있다. 더 나은 모델을 만들기 위한 경쟁이 윤리적·법적 경계를 넘지 않도록 하는 업계 자정 노력과 규제 논의가 시급하다.