구글 클라우드, GKE에서 AI 추론 보안 강화하는 Model Armor 가이드 공개

구글 클라우드가 Google Kubernetes Engine(GKE)에서 AI 추론 워크로드를 보호하기 위한 Model Armor 서비스의 아키텍처와 구현 방법을 공개했다. Model Armor는 GKE Service Extensions와 직접 통합되어 네트워크 데이터 경로에서 작동하는 가드레일 서비스다.

기업들이 AI 워크로드를 실험 단계에서 프로덕션으로 이전하면서, 프롬프트 인젝션부터 민감 데이터 유출까지 기존 방화벽으로는 대응하기 어려운 AI 고유의 공격 벡터가 새로운 과제로 부상하고 있다. 대부분의 LLM은 내부 안전 학습을 갖추고 있지만, 이에만 의존하면 불투명성, 유연성 부족, 모니터링 어려움이라는 세 가지 운영 리스크가 발생한다.

특히 모델의 내부 거부 응답은 HTTP 200 OK로 반환되어 보안 모니터링 시스템에서는 정상 트랜잭션으로 인식된다. 이로 인해 보안팀은 실제 공격이 발생하고 있는지 파악하기 어렵다.

Model Armor는 이러한 격차를 해소하기 위해 모델에 도달하기 전과 모델 응답 이후 트래픽을 검사하는 게이트키퍼 역할을 수행한다. 주요 기능으로는 프롬프트 인젝션·탈옥 시도·악성 URL 차단, 혐오 발언·위험 콘텐츠에 대한 출력 모더레이션, 구글 클라우드의 Data Loss Prevention(DLP) 기술을 활용한 개인식별정보(PII) 유출 차단이 포함된다.

아키텍처는 글로벌 외부 애플리케이션 로드 밸런서로 요청이 도착하면, GKE Gateway Service Extension이 이를 가로채 Model Armor 서비스에 보안 정책 평가를 요청하는 구조다. 차단된 요청은 로드 밸런서 수준에서 즉시 400 Bad Request로 반환되고, 승인된 요청만 GPU/TPU 노드의 모델 서빙 파드로 라우팅된다.

모델 추론 후 생성된 응답도 게이트웨이에서 다시 가로채져 Model Armor의 정책 위반 검사를 거친 후 사용자에게 반환된다. 모델 가중치는 Hyperdisk ML 스토리지와 Google Cloud Storage에서 로드된다.

보안 이벤트는 Security Command Center와 Cloud Logging에 기록되며, Google Security Operations으로 수집되어 보안 태세 관리의 데이터 입력으로 활용된다. 어떤 정책이 트리거되었는지 정확히 확인하고 인프라를 겨냥한 공격 규모를 감사할 수 있다.

구글 클라우드는 AI 워크로드 보안을 위해서는 모델 자체를 넘어서는 심층 방어(defense-in-depth) 전략이 필요하다고 강조하며, 전체 코드와 배포 단계를 포함한 튜토리얼도 함께 제공했다.