Mozilla, Anthropic 'Mythos'로 Firefox 취약점 271건 2개월간 탐지… '거의 false positive 없음', 커스텀 'agent harness'가 핵심

Mozilla가 Anthropic의 AI 모델 'Mythos'를 활용해 2개월에 걸쳐 Firefox 보안 취약점 271건을 식별한 사례를 공개했다고 Ars Technica가 보도했다. 회사는 이번 발표를 통해 AI 기반 취약점 탐지의 실제 작동 과정을 무대 뒤에서 들여다볼 수 있는 자료를 제공했다.

지난달 Mozilla CTO는 AI 보조 취약점 탐지가 "zero-days are numbered(제로데이의 수명이 다했다)"이며 "defenders finally have a chance to win, decisively(방어자가 마침내 결정적으로 승리할 기회를 얻었다)"고 선언한 바 있다. 이번 공개는 그러한 선언에 대한 회의적 시각을 의식하고, 실제 결과를 뒷받침하기 위해 마련된 후속 자료다.

Mozilla 엔지니어들은 이번 돌파구가 두 가지 요인의 결과라고 설명했다. (1) 모델 자체의 성능 개선과 (2) Mythos가 Firefox 소스 코드를 분석할 수 있도록 지원한 Mozilla의 자체 개발 'harness'다. 두 요소의 결합이 'ready-for-prime-time' 단계에 도달했다는 평가의 근거가 됐다.

Mozilla 엔지니어들은 결과가 "almost no false positives(false positive가 거의 없다)"고 표현했다. 과거 AI 기반 취약점 탐지 시도는 "unwanted slop"으로 가득했다는 것이 이들의 진단이다. 모델에 코드 블록을 분석하도록 프롬프트를 던지면 그럴듯하게 보이는 버그 리포트가 대량으로 쏟아지지만, 인간 개발자가 추가 조사에 들어가면 상당수가 환각으로 드러나 결국 종래 방식으로 처리해야 했다고 설명했다.

Mozilla Distinguished Engineer Brian Grinstead는 인터뷰에서 이번 작업이 과거와 가장 크게 달랐던 지점이 'agent harness'의 사용이라고 밝혔다. agent harness는 LLM을 감싸 일련의 특정 작업을 단계적으로 안내하는 코드 계층이다. 다만 이러한 하네스가 유용하려면 프로젝트별 의미·도구·프로세스에 맞춰 맞춤화하는 데 상당한 자원 투입이 필요하다고 그는 덧붙였다.

Grinstead는 자신의 팀이 만든 하네스를 "the code that drives the LLM in order to accomplish a goal(목표 달성을 위해 LLM을 구동하는 코드)"로 정의했다. 모델에 'find a bug in this file'과 같은 지시를 내리고, 파일 읽기·쓰기와 테스트 케이스 평가 등 도구를 제공한 뒤, 완료될 때까지 루프를 돌리는 구조라는 설명이다.

이 하네스는 Mythos에 인간 Mozilla 개발자가 사용하는 것과 동일한 도구·파이프라인 접근권을 부여했다. 여기에는 테스트 용도로 사용하는 특수 Firefox 빌드까지 포함됐다. 결과적으로 Mythos는 단순한 정적 분석을 넘어 실제 개발자 워크플로 안에서 코드를 점검할 수 있는 환경을 갖추게 된 셈이다.