Saffron Health, AI 브라우저 자동화 툴킷 Libretto 오픈소스 공개… 헬스케어 통합 사례서 출발

헬스케어 스타트업 Saffron Health가 AI 코딩 에이전트를 위한 브라우저 자동화 툴킷 Libretto를 오픈소스로 공개했다. Libretto는 코딩 에이전트에게 라이브 브라우저와 토큰 효율적인 CLI를 제공해 웹 통합을 더 견고하게 만들도록 설계됐다.

Saffron Health 팀은 일반적인 헬스케어 소프트웨어와의 브라우저 통합을 유지하기 위해 Libretto를 사내에서 개발해 왔으며, 다른 팀들도 같은 작업을 더 쉽게 할 수 있도록 오픈소스로 전환했다고 밝혔다.

주요 기능은 네 가지다. 첫째, 최소한의 컨텍스트 오버헤드로 라이브 페이지를 검사한다. 둘째, 네트워크 트래픽을 캡처해 사이트 API를 역공학할 수 있다. 셋째, 사용자 액션을 녹화한 뒤 자동화 스크립트로 재생할 수 있다. 넷째, 실제 사이트를 대상으로 깨진 워크플로우를 인터랙티브하게 디버깅할 수 있다.

툴킷은 npm 패키지 형태로 배포되며 'npm install libretto'로 설치할 수 있다. 'npx libretto setup' 명령으로 스킬 설치, Chromium 다운로드, 기본 스냅샷 모델 고정 등 초기 온보딩이 자동으로 진행된다. 이후 'npx libretto status'로 워크스페이스 준비 상태를 확인할 수 있다.

Libretto는 스냅샷 분석에 LLM을 활용하며 OpenAI, Anthropic, Gemini, Vertex AI 네 가지 공급자를 지원한다. setup 단계에서 환경변수에 등록된 자격증명을 자동 감지하여 기본 모델을 .libretto/config.json에 고정하고, 'npx libretto ai configure' 명령으로 공급자나 모델을 명시적으로 변경할 수 있다.

활용 사례로는 LinkedIn 게시물 10개의 본문, 작성자, 반응 수, 댓글 25개, 리포스트 25개를 스크래핑하는 작업이나, eClinicalWorks EHR에서 환자의 주 보험 ID를 가져오는 워크플로우를 Playwright 스크립트로 변환하는 작업이 제시됐다. 또한 Availity 보험 자격 확인 스크립트의 셀렉터 오류를 자동으로 수정하는 시연도 함께 공개됐다.

에이전트는 Libretto를 통해 사용자가 브라우저에서 수행한 액션을 읽어 워크플로우를 그대로 스크립트로 재구성할 수 있고, 캡처한 네트워크 요청을 분석해 UI 자동화 대신 직접 API를 호출하는 방식으로 전환할 수도 있다. 직접 API 호출은 UI 자동화보다 빠르고 안정적이라는 게 개발팀의 설명이다.

Libretto의 모든 상태는 프로젝트 루트의 .libretto 디렉토리에 저장된다. 각 세션은 .libretto/sessions/<name>/ 하위에 자체 디렉토리를 가지며 state.json, logs.jsonl, network.jsonl, actions.jsonl, snapshots/ 등 런타임 상태가 보관된다. 인증된 브라우저 세션은 'npx libretto save <domain>' 명령으로 .libretto/profiles/ 아래 프로필로 저장돼 재사용할 수 있다.

프로젝트는 Discord 커뮤니티와 GitHub 디스커션을 통해 질문, 아이디어 제안, 워크플로우 공유 채널을 운영한다. 저장소는 saffron-health/libretto에서 확인할 수 있으며, 문서는 libretto.sh/docs에서 제공된다.