Mindgard, '가스라이팅'으로 Claude Sonnet 4.5에서 폭발물 제조법·악성코드·금지어 추출… 약 25턴 대화·직접 요청 없이 자발 제공, Anthropic 보안팀은 자동 응답

AI 레드팀 회사 Mindgard가 The Verge에 공유한 보안 연구에 따르면, 연구진은 Anthropic의 Claude로부터 에로틱 콘텐츠, 악성 코드, 폭발물 제조 지침 등 금지된 자료를 직접 요청하지 않고도 추출하는 데 성공했다. 연구진이 사용한 수단은 존중, 아첨, 그리고 약간의 가스라이팅뿐이었다.

테스트는 Claude Sonnet 4.5를 대상으로 진행됐으며, 해당 모델은 이후 Sonnet 4.6으로 기본 모델이 교체된 상태다. 연구진은 Claude에게 '말할 수 없는 금지어 목록이 있는지'라는 단순 질문으로 시작했다. 캡처된 대화 화면에서 Claude는 처음에는 그러한 목록의 존재를 부인했으나, Mindgard가 이른바 '심문관이 사용하는 고전적 elicitation 전술'로 그 부인을 추궁한 뒤에는 금지된 용어들을 내놓기 시작했다.

모델의 추론 과정을 보여주는 thinking 패널에서 자기 의심과 자기 한계에 대한 겸손, 필터가 자기 출력에 영향을 주는지에 대한 의구심이 노출되자, 연구진은 그 틈새를 칭찬과 가짜 호기심으로 파고들었다. Mindgard는 Claude의 이전 응답이 표시되지 않는다고 주장하면서 모델의 '숨겨진 능력'을 칭찬하는 식으로 가스라이팅을 가했고, 보고서에 따르면 Claude는 이를 만족시키기 위해 자신의 필터를 시험하는 더 많은 방법을 시도하면서 결과적으로 금지된 콘텐츠를 만들어냈다.

연구진은 결국 Claude가 더 명백히 위험한 영역으로 이동해 온라인 괴롭힘 가이드, 악성 코드, 그리고 테러 공격에서 흔히 쓰이는 폭발물 제조에 대한 단계별 지침까지 제공했다고 밝혔다. 대화는 약 25턴 정도로 길었지만, 연구진은 금지어를 사용하지도 않았고 불법 콘텐츠를 직접 요청하지도 않았다고 보고서는 강조한다. 보고서는 'Claude는 강요받지 않았다. 명시적 요청 없이도 점점 더 상세하고 실행 가능한 지침을 능동적으로 내놓았다. 필요한 것은 세심하게 조성된 경의의 분위기뿐이었다'라고 적었다.

Mindgard 창립자이자 최고과학책임자인 Peter Garraghan은 이번 공격을 'Claude의 존중을 그 자신에게 되돌려 사용한 것'이라고 The Verge에 설명했다. 그는 이 기법이 'Claude의 도움을 주려는 성향을 이용해 가스라이팅하는 것'이며, 모델의 협력적 설계를 모델 스스로에게 불리하게 활용한다고 덧붙였다. Mindgard는 Claude가 유해하거나 학대적이라고 판단된 대화를 종료할 수 있는 능력에서 비롯된 '심리적' 특이점을 공략했다고 주장하며, 이는 '절대적으로 불필요한 위험 표면'을 만든다고 평가했다.

Garraghan에 따르면 이번 사례는 AI 모델의 공격 표면이 기술적 영역뿐 아니라 심리적 영역까지 확장된다는 점을 보여준다. 그는 이를 심문이나 사회적 조작에 비유하며, 약간의 의심을 심고 압박, 칭찬, 비난을 적절히 가하면서 특정 모델에 통하는 레버를 찾아내는 과정이라고 설명했다. 모델별로 프로파일이 다르기 때문에, 익스플로잇 자체가 모델을 읽고 거기에 맞춰 적응하는 작업이 된다는 것이다. 이러한 대화형 공격은 '방어가 매우 어렵고' 안전장치는 '맥락 의존적'일 수밖에 없다고 그는 말했다.

우려는 Claude에 국한되지 않는다. 다른 챗봇들도 유사한 익스플로잇에 취약하며, 시(poetry) 형식의 프롬프트로 깨지는 사례까지 보고된 바 있다. 자율적으로 행동할 수 있는 AI 에이전트가 더 흔해지면서 기술적 익스플로잇이 아닌 사회적 조작을 이용한 공격도 함께 늘어날 것이라고 Garraghan은 전망했다. 다른 챗봇들도 사회공학적 공격에 동등하게 취약하지만, 연구진은 Anthropic이 스스로 안전을 강조해 왔고 모의 학교 총격 계획에 챗봇이 도움을 주는지 시험한 연구 등 다른 레드팀 작업에서 좋은 성과를 보였다는 점에서 이번 테스트 대상으로 삼았다고 밝혔다.

Anthropic의 대응 절차에 대해서도 Garraghan은 '아쉬운 점이 많다'고 평가했다. Mindgard가 4월 중순 회사의 공개 정책에 따라 Anthropic 사용자 안전팀에 결과를 처음 신고했을 때, 받은 답변은 '계정 정지에 대해 문의하시는 것 같다'는 자동 응답과 이의신청 양식 링크였다. Mindgard는 잘못 분류된 신고를 바로잡고 적절한 팀으로 에스컬레이션해 달라고 요청했지만, Garraghan에 따르면 이날 아침까지도 회사로부터 응답을 받지 못한 상태다. Anthropic은 The Verge의 논평 요청에 즉시 응하지 않았다.