ByteDance, 멀티모달 AI 에이전트 스택 'TARS' 동시 진화… UI-TARS Desktop 31,074 스타·Agent TARS CLI v0.3.0서 AIO Sandbox·Event Stream Viewer 도입

ByteDance가 공개한 멀티모달 AI 에이전트 스택 'TARS'의 GitHub 리포지토리 bytedance/UI-TARS-desktop이 31,074 스타를 기록했고 당일에만 850 스타가 추가됐다. TARS 스택은 현재 Agent TARS와 UI-TARS Desktop 두 프로젝트를 동시에 출시하고 있다.

UI-TARS Desktop은 UI-TARS 모델을 기반으로 동작하는 네이티브 GUI 에이전트 데스크톱 애플리케이션으로, 로컬·원격 컴퓨터 오퍼레이터와 브라우저 오퍼레이터를 함께 제공한다. UI-TARS와 Seed-1.5-VL/1.6 시리즈 모델로 구동된다.

주요 기능은 비전-언어 모델(VLM) 기반 자연어 제어, 스크린샷·시각 인식, 정밀한 마우스·키보드 제어, Windows·MacOS·브라우저 크로스플랫폼 지원, 실시간 피드백 및 상태 표시, 그리고 완전 로컬 처리 기반의 프라이버시·보안이다.

지난 4월 17일 공개된 UI-TARS Desktop v0.1.0은 Agent UI를 재설계하고 새로운 브라우저 조작 기능과 UI-TARS-1.5 모델 지원을 도입했다. 이어 6월 12일 발표된 v0.2.0에서는 별도 설정 없이 클릭 한 번으로 임의의 컴퓨터·브라우저를 원격 제어할 수 있는 Remote Computer Operator와 Remote Browser Operator를 무료로 추가했다. 그 전 2월 20일에는 GUI 자동화 에이전트 빌드를 위한 크로스플랫폼 툴킷 'UI TARS SDK'가, 1월 23일에는 ModelScope 플랫폼 기반 클라우드 배포 가이드가 공개됐다.

다른 한 축인 Agent TARS는 CLI와 웹 UI를 통해 터미널·컴퓨터·브라우저·제품에 GUI 에이전트와 비전 능력을 도입하는 범용 멀티모달 AI 에이전트 스택이다. 핵심 기능으로는 헤드풀 웹 UI와 헤드리스 서버 실행을 모두 지원하는 원클릭 CLI, GUI 에이전트·DOM·하이브리드 전략을 결합한 Hybrid Browser Agent, 컨텍스트 엔지니어링과 에이전트 UI를 구동하는 프로토콜 기반 Event Stream, MCP 위에 구축돼 실세계 도구와 연결되는 MCP Servers 마운트가 있다.

11월 5일 발표된 Agent TARS CLI v0.3.0은 셸 명령과 멀티 파일 구조 표시 등 다중 도구에 대한 스트리밍 지원, 도구 호출과 딥 씽킹의 시간 통계가 포함된 런타임 설정, 데이터 흐름 추적·디버깅용 Event Stream Viewer를 도입했다. 또한 격리된 올인원 도구 실행 환경인 'AIO agent Sandbox'를 단독 지원한다.

설치는 `npx @agent-tars/cli@latest`로 즉시 실행하거나, Node.js 22 이상 환경에서 `npm install @agent-tars/cli@latest -g`로 글로벌 설치할 수 있다. 모델 제공자는 volcengine의 doubao-1-5-thinking-vision-pro-250428과 Anthropic의 claude-3-7-sonnet-latest 등이 예시로 제시됐다.

공식 문서가 제시한 Agent TARS 사용 사례에는 Priceline에서 9월 1일 산호세→뉴욕 가장 이른 항공편과 9월 6일 마지막 귀국편 예약, 5,000달러 예산으로 booking.com에서 9월 1~6일 LA 공항 최단거리 Ritz-Carlton 호텔 예약, 항저우의 한 달 날씨 차트 생성이 포함된다. UI-TARS Desktop 데모로는 VS Code의 자동저장 기능 활성화와 500밀리초 지연 설정, UI-TARS-Desktop 프로젝트의 최신 오픈 이슈 확인 등이 제시됐다. 관련 논문은 arXiv:2501.12326 'UI-TARS: Pioneering Automated GUI Interaction with Native Agents'이며 라이선스는 Apache License 2.0이다.