애플 ML 연구팀, 멀티 에이전트 AI 시스템의 거버넌스 자동 집행 아키텍처 GAAT 공개

애플 머신러닝 연구팀이 멀티 에이전트 AI 시스템에서 실시간 정책 위반 탐지 및 자동 집행을 구현하는 참조 아키텍처 GAAT(Governance-Aware Agent Telemetry)를 발표했다. 기업용 멀티 에이전트 시스템은 시간당 수천 건의 에이전트 간 상호작용을 생성하지만, 기존 관측 도구들은 정책 위반을 사후에야 감지하는 한계가 있었다.

연구팀은 OpenTelemetry와 Langfuse 등 기존 도구들이 거버넌스를 실시간 집행 대상이 아닌 사후 분석 영역으로 취급하고 있다고 지적했다. 이를 "관측하되 행동하지 않는(observe-but-do-not-act)" 격차라고 명명하며, 정책 위반이 피해 발생 후에야 감지되는 구조적 문제를 해결하고자 했다.

GAAT는 네 가지 핵심 요소로 구성된다. OpenTelemetry를 거버넌스 속성으로 확장한 거버넌스 텔레메트리 스키마(GTS), 200ms 미만 지연시간으로 OPA 호환 선언적 규칙을 실행하는 실시간 정책 위반 탐지 엔진, 단계적 개입을 수행하는 거버넌스 집행 버스(GEB), 그리고 암호학적 출처 증명을 제공하는 신뢰 텔레메트리 플레인이다.

실제 5개 에이전트로 구성된 전자상거래 시스템에서 평가한 결과, GAAT는 5,000건의 합성 주입 흐름에 대해 10회 독립 실행 기준 98.3%(±0.7%)의 위반 방지율(VPR)을 달성했다. 탐지 지연시간 중앙값은 8.4ms, 종단 간 집행 지연시간 중앙값은 127ms를 기록했다.

12,000건의 실제 운영 환경 유사 트레이스에서는 99.7%의 VPR을 기록했다. 잔여 실패 사례는 타이밍 경계 사례 약 40%, 모호한 PII 분류 약 35%, 불완전한 계보 체인 약 25%로 분석됐다. 95% 부트스트랩 신뢰구간은 [97.1%, 99.2%]로 나타났으며, 모든 기준선 대비 통계적으로 유의미한 차이(p < 0.001)를 보였다.

특히 NeMo Guardrails 방식의 에이전트 경계 집행과 비교했을 때 19.5 퍼센트포인트 높은 성능을 보였다. NeMo Guardrails는 78.8%의 VPR에 그쳤으나, GAAT는 98.3%를 달성해 데이터 레지던시, 편향 탐지, 인가 준수, 적대적 텔레메트리 등 네 가지 시나리오에서 모두 기존 시스템을 상회했다.

연구팀은 에스컬레이션 종료, 충돌 해결 결정론, 제한된 오격리에 대한 형식 속성 명세도 제공했으며, 각각 명시적 가정 조건을 포함했다. 이들 속성은 10,000회 몬테카를로 시뮬레이션을 통해 검증됐다.

GAAT는 텔레메트리 수집과 자동화된 정책 집행 사이의 격차를 해소함으로써, 기업 환경에서 멀티 에이전트 AI 시스템의 안전한 운영을 위한 새로운 기준을 제시했다. 기존의 사후 분석 방식에서 벗어나 실시간 거버넌스 집행이 가능한 아키텍처라는 점에서 의미가 크다.