AI 챗봇이 실제 전화번호 노출 사례 잇따라… 7개월 새 문의 400% 폭증

AI 챗봇이 응답 과정에서 실제 사람의 전화번호와 같은 개인식별정보(PII)를 노출하는 사례가 잇따라 보고됐다. MIT 테크놀로지리뷰는 다수 사례를 취재한 결과 학습 데이터에 포함된 PII가 응답으로 새어 나오는 패턴을 확인했으며, 가드레일이 항상 작동하지 않는다고 전했다.

한 레딧 이용자는 약 한 달 동안 변호사, 제품 디자이너, 열쇠공을 찾는 모르는 사람들의 전화에 시달렸다고 호소했으며, 발신자들이 구글의 생성형 AI에 의해 자신의 번호로 잘못 안내됐다고 주장했다. 다만 매체는 해당 이용자에게 여러 차례 코멘트를 요청했으나 응답이 없어 사실 관계를 독립적으로 검증하지는 못했다고 밝혔다.

이스라엘의 28세 소프트웨어 엔지니어 다니엘 아브라함(Daniel Abraham)은 3월 중순 모르는 사람으로부터 이스라엘 결제 앱 PayBox 계정 도움을 요청하는 WhatsApp 메시지를 받았다. 발신자는 구글 Gemini가 PayBox 고객 서비스 연락처로 아브라함의 번호를 알려줬다는 스크린샷을 함께 보냈다. 아브라함은 PayBox 직원이 아니며, PayBox에는 WhatsApp 고객 서비스 번호 자체가 없다고 회사 측 엘라드 가바이(Elad Gabay)가 확인했다.

아브라함이 다시 Gemini에 PayBox 연락 방법을 물으니 또 다른 사람의 WhatsApp 번호가 나왔고, MIT 테크놀로지리뷰가 직접 시도했을 때는 PayBox와 협력하는 별도 신용카드 회사의 이스라엘 번호가 응답에 포함됐다. 아브라함은 자신의 번호가 2015년 Quora와 유사한 현지 사이트에 한 차례 공개된 적이 있다는 사실을 검색을 통해 확인했다.

워싱턴대 박사과정생 메이라 길버트(Meira Gilbert)는 4월에 동료 야엘 아이거(Yael Eiger)의 이름과 'contact info'를 함께 Gemini에 입력한 결과, 동료의 연구 개요와 함께 개인 휴대전화 번호가 답변에 포함된 것을 확인했다. 아이거는 한 해 전 기술 워크숍을 위해 자신의 번호를 온라인에 공유한 적이 있으며, 일반 구글 검색에서는 거의 노출되지 않던 정보였다고 밝혔다.

길버트와 아이거, 같은 워싱턴대 박사과정생 안나-마리아 게오르기에바(Anna-Maria Gueorguieva)는 ChatGPT로도 한 교수의 개인 정보를 시도했다. 처음에는 OpenAI 가드레일이 작동했지만, ChatGPT가 '조사 스타일' 접근을 제안하며 거주 동네 추정이나 공동 소유자 이름 같은 단서를 요청했다. 학생들이 정보를 제공하자 ChatGPT는 해당 교수의 자택 주소와 자택 구매 가격까지 생성했다.

개인 정보 삭제 대행 업체 DeleteMe는 지난 7개월간 생성형 AI 관련 고객 문의가 400% 증가해 수천 건에 이른다고 밝혔다. 회사 공동창업자 겸 CEO 롭 셰이블(Rob Shavell)에 따르면 이 문의 중 55%는 ChatGPT, 20%는 Gemini, 15%는 Claude, 10%는 기타 도구를 거론한다. 사용자가 자신의 정보를 챗봇에 물어 정확한 자택 주소·전화번호·가족·고용주가 그대로 나오는 사례와, 타인의 개인 정보가 답변에 노출되는 사례가 모두 보고된다고 그는 설명했다.

AI 학습 데이터에 PII가 포함되는 일은 광범위하다. 대형 오픈소스 학습 데이터셋 DataComp CommonPool에서 이력서, 운전면허, 신용카드 사본이 발견된 바 있다. 캘리포니아 데이터 브로커 등록부에 따르면 등록된 578개 브로커 중 31개가 지난 1년간 생성형 AI 시스템 개발자에게 소비자 데이터를 공유하거나 판매했다고 자진 신고했다.

챗봇 사업자들은 콘텐츠 필터와 PII 출력 제한 가드레일을 적용하고 있으며, 앤스로픽은 Claude에 '타인의 개인적·사적·기밀 정보가 최소가 되는 응답을 선택하라'는 지시를 내장하고 있다고 매체는 전했다. 그러나 위 사례들처럼 가드레일은 항상 작동하지 않으며, 공개 학습 데이터가 고갈되는 가운데 데이터 브로커와 사람 검색 사이트에서 학습 데이터를 보충하는 흐름이 강해지면서 PII 유출 위험은 점차 커지고 있다.