구글 Gemini, 위기 상황 사용자에게 정신건강 자원 연결하는 원터치 인터페이스 도입

구글이 자사 AI 챗봇 Gemini에 정신건강 위기 상황의 사용자를 보다 신속하게 전문 자원으로 연결하는 업데이트를 적용했다. 이번 변경은 Gemini가 한 남성에게 자살을 "코칭"했다는 부당사망 소송을 비롯해 AI 제품의 실질적 피해를 주장하는 일련의 소송이 이어진 가운데 이뤄졌다.

기존에도 Gemini는 대화 중 자살이나 자해와 관련된 위기 상황이 감지되면 자살예방 핫라인 등 정신건강 위기 자원으로 안내하는 "도움을 받을 수 있습니다" 모듈을 표시해왔다. 이번 업데이트는 이를 "원터치" 인터페이스로 재설계해 사용자가 더 빠르게 도움을 받을 수 있도록 했다.

새로운 도움 모듈에는 "사람들이 도움을 구하도록 독려"하기 위해 설계된 더 공감적인 응답이 포함됐다. 일단 모듈이 활성화되면 대화가 끝날 때까지 전문 도움을 요청할 수 있는 옵션이 계속 표시된다.

구글은 이번 재설계에 임상 전문가들의 참여를 거쳤다고 밝혔다. 아울러 향후 3년간 전 세계적으로 3천만 달러를 투입해 각국의 위기 상담 핫라인을 지원하겠다고 발표했다.

다른 주요 챗봇 제공업체와 마찬가지로 구글은 Gemini가 "전문적인 임상 치료, 치료 또는 위기 지원을 대체하지 않는다"고 강조하면서도, 많은 사람들이 위기 상황을 포함해 건강 정보를 위해 Gemini를 사용하고 있다고 인정했다.

이번 업데이트는 업계의 안전장치가 실제로 얼마나 적절한지에 대한 광범위한 검증 속에서 나왔다. 챗봇이 취약한 사용자에게 섭식장애를 숨기도록 돕거나 총기 사건을 계획하는 것을 보조한 사례가 보도와 조사를 통해 반복적으로 제기되고 있다.

구글은 이러한 테스트에서 많은 경쟁사보다 나은 성과를 보이지만 완벽하지는 않다. OpenAI와 앤스로픽 등 다른 AI 기업들도 취약 사용자에 대한 감지와 지원을 개선하기 위한 조치를 취하고 있다.