Show HN 'agent-desktop' 공개, AI 에이전트용 네이티브 데스크톱 자동화 Rust CLI… 53개 명령·OS 접근성 트리 기반 dense 앱 토큰 78~96% 절감, Python·Swift·Go·Ruby·Node에 C-ABI 라이브러리로 로드

lahfir가 GitHub에 공개한 'agent-desktop'이 Hacker News Show HN으로 등장했다. 슬로건은 'OBSERVE. DECIDE. ACT.'로, AI 에이전트를 위해 설계된 네이티브 데스크톱 자동화 CLI라고 소개한다. Rust로 작성된 단일 바이너리이며 런타임 의존성이 없다.

차별점은 입력 방식이다. 스크린샷·픽셀 매칭·브라우저 없이 OS 접근성(accessibility) 트리만으로 모든 애플리케이션에 구조화된 접근을 제공한다. 명령 수는 53개로 관찰(observation)·인터랙션·키보드·마우스·알림·클립보드·윈도우 관리 등 카테고리로 구성된다.

AI 에이전트의 토큰 비용을 줄이기 위해 '점진적 스켈레톤 순회(progressive skeleton traversal)' 방식을 도입했다. 깊이 3의 얕은 개요 맵을 먼저 보여주고 잘린 컨테이너에는 children_count만 표기한 뒤, 관심 영역으로 드릴다운하는 흐름이다. 프로젝트는 dense 앱 기준 토큰 사용을 78~96% 줄인다고 명시한다.

워크플로는 결정론적 요소 참조를 기반으로 한다. snapshot 명령이 @e1·@e2 같은 ref 식별자를 부여하면 click @e3, type @e5, scroll @e1처럼 ref로 행동을 지시한다. 응답은 머신 판독용 구조화 JSON으로, 에러 코드와 복구 힌트를 포함한다.

인터랙션은 'AX-first' 원칙을 따른다. 모든 동작은 순수 접근성 API 전략을 모두 시도한 뒤에야 마우스 이벤트로 폴백한다. click은 15단계, scroll은 10단계 체인으로 동작이 정의돼 있다.

에이전트 호스트 통합을 위해 매 GitHub 릴리스마다 CLI 타르볼과 함께 C-ABI cdylib(libagent_desktop_ffi)를 동봉한다. Python·Swift·Go·Ruby·Node·C 호스트는 dlopen으로 한 번 로드해 ad_adapter_create·ad_list_apps·ad_get_tree·ad_execute_action 등을 호출하므로, 명령마다 fork-exec를 일으키지 않는다.

지원 플랫폼은 macOS arm64·macOS x86_64·Linux x86_64(glibc)·Linux arm64(glibc)·Windows x86_64(MSVC)다. 각 아카이브에는 lib/libagent_desktop_ffi.{dylib,so,dll}, include/agent_desktop.h, LICENSE가 들어 있고, checksums.txt 검증과 'gh attestation verify' 명령으로 Sigstore provenance도 확인할 수 있다. 빌드는 Rust 1.78+ 및 macOS 13.0+가 필요하며, 'npm install -g agent-desktop'으로 사전 빌드된 바이너리를 설치할 수 있다.

동작 대상은 접근성 트리를 가진 모든 앱으로, 프로젝트는 Finder·Safari·System Settings·Xcode·Slack을 예시로 든다. 토큰 절감 효과는 Slack·VS Code·Notion 같은 dense 앱에서 가장 크다고 안내한다. macOS에서는 시스템 설정의 개인정보 보호 및 보안 메뉴에서 접근성 권한을 부여하거나 'agent-desktop permissions --request' 명령으로 시스템 다이얼로그를 띄울 수 있다.