와이어드 기자, OpenClaw로 LeRobot 101 로봇팔 바이브 코딩 체험기

와이어드 기자가 OpenClaw 에이전트에 실제 로봇팔을 붙여 비전-제어 시연을 진행했다. AI 에이전트는 팔을 직접 구성하고, 카메라로 사물을 보고 천천히 잡았으며, 특정 물체를 집어 옮기는 별도의 AI 모델까지 훈련시켰다.

UC 버클리 로보틱스 연구자 켄 골드버그는 "AI 기반 코딩은 신뢰성은 있지만 일반화되지 않는 기존 공학 방법과, 일반화는 되지만 아직 신뢰성이 부족한 비전-언어-액션 모델 사이의 격차를 메울 잠재력이 있다"고 평했다.

사용한 하드웨어는 허깅페이스 오픈소스 프로젝트 LeRobot 101이다. 팔 두 개로 구성되며, 사람이 핸들과 트리거로 조작하는 컨트롤러 팔과 카메라가 달려 그 움직임을 복제하는 팔로워 팔이 짝을 이룬다. 텔레오퍼레이션으로 컨트롤러 팔을 움직이고 팔로워의 카메라 입력을 학습시키면 AI 모델 훈련이 가능하다.

기자는 OpenClaw를 쓰기 전 로봇 연결과 캘리브레이션에 몇 시간을 보냈고, 잘못된 설정으로 모터가 과열돼 망가질 뻔하기도 했다. 이후 OpenClaw와 Codex의 도움으로 빨간 공을 발견하면 그리퍼를 닫는 간단한 프로그램을 '바이브 코딩'으로 작성했다.

Codex는 터미널에서 로봇 연결 설정, 관절 위치 캘리브레이션, 그리고 여러 라이브러리를 이용해 공을 인식하고 잡는 파이썬 스크립트 작성까지 수행했다. 다만 다른 하드웨어를 다룰 때는 환각이 버그로 이어질 수 있다는 한계도 함께 드러났다.

다음 단계로 기자는 OpenClaw의 안내를 받아 팔을 직접 제어하는 모델 자체를 훈련시켰다. OpenClaw는 여러 접근법을 함께 시도하고, 학습 한 라운드가 끝날 때마다 모델의 오류율을 점검해주는 역할까지 맡았다.

AI 코딩으로 로봇을 제어한다는 발상은 2022년 'Code as Policy'라는 이름의 연구 논문에서 처음 본격 제시됐다. 골드버그 연구팀은 엔비디아, 카네기멜런대학교, 스탠퍼드대학교 연구진과 함께 코딩 모델의 로봇 능력을 측정하는 새 벤치마크 CaP-X를 최근 개발했다.

흥미롭게도 CaP-X에서 로봇 프로그래밍에 가장 뛰어난 모델은 클로드나 ChatGPT가 아닌 제미나이로 나타났다. 구글 딥마인드가 모델을 멀티모달로, 물리 세계를 이해하도록 훈련하는 데 집중해 온 점이 영향을 미친 것으로 추정된다.

연구진은 코딩 에이전트가 시뮬레이션과 실제 로봇을 모두 제어할 수 있게 해주는 환경 CaP-Gym과, 코딩 모델 성능을 끌어올리는 에이전틱 프레임워크 CaP-Agent0도 함께 공개했다. CaP-Agent0는 일부 조작 태스크에서 로봇 동작을 직접 학습한 모델을 능가하는 결과를 냈다.

골드버그 팀은 엔비디아와 협력해 이 접근법의 가능성을 더 탐색하고 있다. 사내 바이브 코딩 로봇 해커톤을 조직해 온 스펜서 황(젠슨 황의 아들)은 "거의 누구나 로보틱스에 입문할 수 있다는 점이 진정한 성배"라며 "음성이나 타이핑, 시연으로 로봇을 제어하는 것이 사회에서 로봇 확산을 가능케 할 결정적 잠금 해제 요인"이라고 말했다.