Miro, Bedrock 기반 BugManager로 버그 재할당 6분의 1로 단축

협업 워크스페이스 미로(Miro)가 AWS Prototyping and Cloud Engineering(PACE) 팀과 공동 개발한 사내 버그 트리아징 AI 'BugManager'의 설계와 운영 결과를 공개했다. 전 세계 9,500만 명 이상이 사용하는 미로 제품의 버그 리포트를 자동으로 담당 팀에 라우팅하는 시스템이다.

미로 엔지니어링 조직은 약 100개 팀으로 구성돼 있고, 각 팀이 특정 제품 영역을 담당한다. 이런 구조에서 버그 리포트가 잘못된 팀으로 전달되면 반복적인 재할당과 컨텍스트 전환이 발생하고, 다수의 버그가 내부 해결 SLA를 놓치는 원인이 됐다. 미로는 라우팅 지연과 중복 조사로 인한 누적 생산성 손실을 연 42년 분으로 추정했다.

기존에는 파인튜닝한 GPT 모델 기반 분류기를 사용했지만, 팀 병합·신설과 제품 기능 변경이 빈번하게 일어나면서 성능이 빠르게 저하됐다. 파인튜닝된 BERT나 LLM 분류기는 조직 구조가 바뀔 때마다 재학습이 필요하고, 새로운 구조에는 라벨링된 데이터 자체가 존재하지 않는다는 한계가 있었다.

BugManager는 학습 없이 적응 가능한 LLM 기반 접근으로 방향을 틀었다. 신규 버그 리포트가 들어오면 Amazon Nova Pro의 멀티모달 이미지·영상 이해 기능으로 스크린샷과 화면 녹화를 텍스트로 변환한 뒤, Amazon Bedrock Knowledge Bases를 통한 RAG로 컨텍스트를 보강한다.

참조되는 지식 베이스에는 과거에 해결된 Jira 이슈, GitHub 풀 리퀘스트, Confluence 문서, GitHub README 등이 포함된다. 보강된 버그 설명과 각 팀의 책임 범위를 담은 상세 텍스트는 단일 분류 프롬프트로 묶여 Anthropic의 Claude Sonnet 4(Amazon Bedrock 제공)에 전달되고, 모델은 가장 적합한 팀으로 라우팅을 수행한다.

엔지니어가 사용하는 인터페이스는 Slack 기반 워크플로다. BugManager는 우선순위 순으로 최대 5개의 후보 팀을 근거와 함께 제안하며, 기본값으로 가장 가능성이 높은 팀에 자동 배정한다. 사용자는 이 선택을 직접 수정할 수 있다.

선택 옵션으로 BugManager는 미로 전체 코드베이스에서 관련 소스 리포지토리를 검색해 근본 원인 분석(root cause analysis)도 생성한다. 이 분석은 버그의 추정 원인과 해결 가설을 함께 제시해 담당 엔지니어가 즉시 조사에 착수할 수 있도록 한다.

시스템은 Amazon Elastic Kubernetes Service(EKS) 클러스터 위에서 파이썬 마이크로서비스로 동작한다. 워크플로는 사용자 피드백 제출, 미디어 첨부 파싱, 컨텍스트 보강, 담당 팀 라우팅, 근본 원인 분석 생성, 결과 반환의 6단계로 구성된다.

미로는 BugManager 도입 이후 팀 재할당 횟수가 6배 줄었고, 해결까지 걸리는 시간이 5배 단축됐다고 밝혔다. 별도의 파인튜닝 없이 RAG와 프롬프트 최적화만으로 조직 변화에 적응 가능한 구조를 유지한 점이 핵심 성과로 꼽힌다.