에든버러大·케임브리지·스트래스클라이드 공동 연구 '사이버범죄 포럼서 AI 슬롭 반발 확산'… ChatGPT 출시 후 97,895건 대화 분석, Flashpoint '해커들 Claude Mythos Preview 주목'

사이버범죄 포럼에서도 AI에 대한 반발이 확산되고 있다고 와이어드(Wired)가 보도했다. 한 익명 사용자는 "사이트에 AI 쓰레기를 넣으려 하는 게 실망스럽다. 아무도 이걸 원하지 않는다. 사이트를 개선하고 새 기능에 돈을 매기는 걸 멈춰라"고 글을 올렸는데, 이는 일반 인터넷 서비스가 아닌 한 사이버범죄 포럼의 생성형 AI 확대 계획에 대한 항의였다.

에든버러 대학교(University of Edinburgh) 보안 연구자이자 senior lecturer인 Ben Collier는 "사람들이 좋아하지 않는다"고 말했다. Collier는 케임브리지 대학교(University of Cambridge), 스트래스클라이드 대학교(University of Strathclyde) 연구진과 함께 저수준 사이버범죄자들의 AI 사용을 다룬 최근 연구를 진행했고, 지하 사이버범죄 포럼·해킹 그룹 내부에서 생성형 AI 사용에 대한 반발이 늘고 있는 점을 포착했다고 밝혔다.

연구진은 ChatGPT 출시 시점인 2022년부터 지난해 말까지 사이버범죄 포럼에서 오간 AI 관련 대화 97,895건을 분석했다. 보고서에 따르면 기본 사이버보안 개념을 "불릿 포인트로 정리한 설명"을 마구 올리는 행태에 대한 불만, 저품질 게시물 증가에 대한 항의, 그리고 구글의 AI 검색 오버뷰가 포럼 방문자 수를 떨어뜨리고 있다는 우려가 함께 확인됐다.

이러한 사이버범죄 메시지보드와 마켓플레이스는 수십 년간, 특히 러시아에서 비롯된 곳을 중심으로 사기꾼들이 거래하는 공간 역할을 해왔다. 도난 데이터 거래, 해킹 청부 광고, 경쟁자 비방용 글이 오가는 한편, 사용자가 신뢰성 평판을 쌓고 운영자가 글쓰기 대회를 여는 등 공동체적 성격도 띤다고 와이어드는 전했다.

Collier는 "이런 곳들은 본질적으로 사회적 공간이다. 거기서 다른 사람들이 AI를 쓰는 걸 정말 싫어한다"며, 잠재적 사이버범죄자가 AI로 생성한 해킹 설명을 올려 평판을 높이려는 행태가 그룹의 사회적 역학을 망친다고 지적했다. 그는 또한 "많은 이가 AI에 양가적인 태도를 보이는데, AI가 자신이 숙련자라는 주장을 흔들기 때문"이라고 말했다.

와이어드가 검토한 Hack Forums의 게시물에는 AI로 글을 쓰는 행태에 대한 짜증이 그대로 담겼다. 한 사용자는 "멤버들이 AI로 스레드/게시물을 만드는 걸 많이 본다. 한두 문장도 직접 쓰는 시간을 안 들여서 짜증이 난다"고 적었고, 또 다른 이는 "AI로 만든 쓰레기 그만 올려라"라고 더 직설적으로 표현했다. 한 게시물은 "AI 챗봇과 얘기하고 싶다면 그런 사이트가 많다… 나는 인간과 교류하러 여기 온 것"이라고 적었다.

보안업체 Flashpoint의 인텔리전스 부사장 Ian Gray는 "더 정교한 위협 행위자들은 가드레일이 있는 상용 모델의 한계를 알고 있고, 그 프롬프트를 jailbreak 하는 방법도 안다"며 OpenAI, Anthropic, Google이 마련한 안전장치를 언급했다. 그는 "이들은 포럼이나 마켓플레이스에서 AI로 생성된 프로젝트도 경계한다. 약점과 취약점이 있고, 때로는 기반 인프라를 노출시키기도 한다"고 덧붙였다.

Flashpoint는 최근 해커들이 Anthropic의 최신 프런티어 AI 모델인 Claude Mythos Preview의 잠재적 역량을 두고 논의하는 것을 포착했으며, 이는 사이버보안 업계 일부에 동요를 일으켰다고 전했다. 같은 분석에 따르면 일부 사이버범죄 그룹은 다른 그룹을 두고 "그들이 할 수 있는 건 AI 사용뿐"이라고 깎아내리기도 했다.

Collier는 자신이 추적한 저수준 사이버범죄자들 사이에서 AI로 인한 "실질적 disruption"의 뚜렷한 징후는 아직 없다고 평가했다. 연구는 "AI는 진입 기술 장벽을 의미있게 낮추지도 않았고, 기존 비즈니스 모델이나 관행을 심각하게 흔들지도 않았다. 대신 주된 영향은 SEO 사기, 소셜미디어 봇, 일부 로맨스 스캠 등 이미 고도로 자동화된 영역에 집중됐다"고 결론 내렸다.

AI에 대한 차가운 반응에도 일부 사용자는 가능성을 본다고 와이어드는 전했다. Hack Forums에서는 게시물 구조와 문법을 다듬어주는 AI 보조라면 환영할 수 있지만, 사용자를 대신해 글을 완성해주는 AI에는 선을 긋겠다는 의견이 있었다. 한 사용자는 "게시물용 AI 생성기를 두면 여긴 AI들이 서로 떠드는 'clanker forum'이 될 것"이라고 적었다. 한편 Flashpoint는 해커들이 도난 데이터·계정 거래를 빠르게 하기 위한 "AI 강화" 사이버범죄 마켓 구상을 논의하는 모습을 포착했지만, "마켓에 AI를 넣는 건 멍청한 짓"이라는 반발도 함께 나왔다고 밝혔다.