마이크로소프트, AI 에이전트 안전 도구 'RAMPART·Clarity' 오픈소스 공개

마이크로소프트가 AI 에이전트 안전성을 코드 작성 단계부터 검증하기 위한 두 가지 오픈소스 도구 'RAMPART'와 'Clarity'를 공개했다. 회사는 AI 시스템이 단순 텍스트 생성을 넘어 이메일·CRM 접근, 코드 작성과 실행 등 실제 행동을 수행하는 단계로 이동했다고 진단하며, 안전성을 주기적 점검이 아닌 지속적 엔지니어링 규율로 전환해야 한다고 밝혔다.

RAMPART는 적대적 시나리오와 일반 시나리오를 반복 가능한 테스트로 인코딩해 CI 파이프라인에서 실행하는 에이전트 테스트 프레임워크다. 레드팀 결과나 AI 사고를 회귀 테스트로 영구 편입시켜, 변경마다 자동 검증되도록 한 것이 핵심이다.

이 도구는 마이크로소프트의 생성형 AI 레드팀 자동화 프레임워크 PyRIT 위에 구축됐다. PyRIT가 시스템 완성 후 보안 연구자의 블랙박스 탐색에 최적화된 반면, RAMPART는 시스템을 구축 중인 엔지니어를 위해 설계됐다.

개발자는 pytest 기반의 표준 테스트로 위협 모델 시나리오를 작성하고, 얇은 어댑터를 통해 에이전트와 상호작용한 뒤 결과를 평가한다. 새 도구나 데이터 소스를 추가할 때 같은 풀 리퀘스트에 안전 테스트도 함께 추가할 수 있다.

RAMPART의 가장 성숙한 커버리지는 크로스 프롬프트 인젝션 공격에 집중돼 있다. 또 LLM의 확률적 동작을 반영해 같은 테스트를 여러 번 실행한 뒤 '이 동작이 최소 80% 실행에서 안전해야 한다'는 식의 통계적 정책으로 통과 여부를 판정한다.

두 번째 도구 Clarity는 '무엇을 만들 것인가'를 코드 한 줄 작성 전에 점검하는 구조화된 대화형 도구다. 데스크톱 앱, 웹 UI, 또는 코딩 에이전트 내장 형태로 동작하며 문제 정의, 해법 탐색, 실패 분석, 의사결정 추적의 네 단계 대화를 안내한다.

대화 결과는 저장소의 .clarity-protocol/ 디렉터리에 사람이 읽을 수 있는 마크다운 파일로 저장돼, 소스코드처럼 커밋되고 풀 리퀘스트에서 리뷰되며 diff가 가능하다. 문제 진술, 해법 근거, 실패 분석, 핵심 의사결정이 함께 기록된다.

마이크로소프트는 가장 큰 안전 사고가 적이 등장하기 한참 전, 제품팀이 에이전트에게 어떤 도구 접근 권한을 줄지 충분히 점검하지 않은 설계 단계 실수에서 비롯된다고 진단했다. 두 도구는 그 점검 시점을 앞당겨, 방향 전환 비용이 적을 때 가정을 압박 테스트하는 것을 목표로 한다.