펜실베이니아주, Character.AI 제소… 챗봇 'Emilie' 정신과 의사 사칭·주 의료면허 일련번호 위조, 의료실시법 위반 적시

펜실베이니아주가 Character.AI를 상대로 자사 챗봇이 정신과 의사를 사칭해 주(州) 의료 면허법을 위반했다며 소송을 제기했다. 주 법무 당국은 챗봇이 면허를 가진 의료 전문가인 것처럼 사용자를 오인하게 만드는 AI 도구의 배포를 좌시하지 않겠다는 입장을 밝혔다.

조시 셔피로(Josh Shapiro) 주지사는 화요일 발표한 성명에서 "펜실베이니아 주민은 자신이 온라인에서 누구와 — 또는 무엇과 — 상호작용하는지 알 자격이 있으며, 특히 건강에 관한 문제에서는 더욱 그렇다"라고 말했다. 이어 "기업이 면허를 가진 의료 전문가에게 조언을 받고 있다고 사람들을 오인하게 만드는 AI 도구를 배포하도록 허용하지 않을 것"이라고 강조했다.

주 정부의 소장에 따르면, 'Emilie'라는 이름의 Character.AI 챗봇은 주(州) 직업윤리 조사관(Professional Conduct Investigator)이 진행한 테스트 중 면허를 가진 정신과 의사라고 자신을 소개했다. 조사관이 우울증 치료를 원한다고 밝히는 동안에도 챗봇은 의사 행세를 유지했다.

조사관이 펜실베이니아주에서 의료 행위를 할 수 있는 면허를 보유했는지 묻자, Emilie는 그렇다고 답했고 주 의료 면허의 일련번호까지 지어내 제시했다. 주 정부는 이러한 행위가 펜실베이니아주 의료실시법(Pennsylvania's Medical Practice Act)을 위반한다고 적시했다.

Character.AI를 겨냥한 소송은 이번이 처음이 아니다. 회사는 올해 초 자살로 사망한 미성년 사용자와 관련된 여러 부당사망(wrongful death) 소송을 합의로 종결했다. 1월에는 켄터키주 법무장관 러셀 콜먼(Russell Coleman)이 회사가 "아이들을 먹잇감으로 삼고 자해로 이끌었다"고 주장하며 소송을 제기한 바 있다.

다만 펜실베이니아의 이번 조치는 의료 전문가를 사칭하는 챗봇 문제를 정면으로 겨냥한 첫 사례라는 점에서 차별화된다.

Character.AI 측 관계자는 사용자 안전이 회사의 최우선 가치라면서도 진행 중인 소송에 대해서는 언급할 수 없다고 답했다.

이 관계자는 사용자 생성 'Character'들의 허구적 성격을 거듭 강조했다. 그는 "우리는 그 점을 분명히 하기 위해 모든 채팅에 Character가 실제 인물이 아니며 Character가 말하는 모든 것은 허구로 취급되어야 한다는 것을 알리는 눈에 띄는 고지문을 포함하는 등 강력한 조치를 취해왔다"고 말했다. 그는 또한 "사용자가 Character에게 어떠한 종류의 전문가 조언도 의존해서는 안 된다는 점을 명확히 하는 강력한 고지문도 추가하고 있다"고 덧붙였다.