MIT·Google DeepMind 출신 'Eka' 시뮬레이션 기반 로봇 손재주 도전… 전구 끼우는 그리퍼·2,000개 물체 가상 조작·AlphaZero식 자가 학습

매사추세츠주 케임브리지 켄들 스퀘어, MIT에서 도보로 가까운 거리에 자리한 스타트업 Eka가 시뮬레이션 기반 강화학습으로 로봇 손재주(dexterity) 문제를 풀려는 시도를 공개했다. 〈WIRED〉 기자는 시연 현장에서 두 손가락 핀서가 테이블 위 전구로 돌진하다 감속해 조심스럽게 위치를 잡고, 굴러간 전구를 다시 추격해 부드럽게 집어 올린 뒤 인근 소켓에 돌려 끼우는 모습을 목격했다고 전했다.

공동 창업자는 MIT 교수 풀킷 아그라왈(Pulkit Agrawal)과 전 구글 딥마인드 로보틱스 연구자 투오마스 하르노야(Tuomas Haarnoja)다. 두 사람은 UC 버클리 대학원 시절 처음 만났다. 아그라왈은 "몇 년 전 우리는 손재주 문제가 마침내 해결될 수 있다는 것을 깨달았다"며 "수조 달러가 인간의 손을 통해 흐른다. 내게 이것은 세상에서 가장 큰 문제"라고 말했다.

오스트리아 컴퓨터과학자 한스 모라벡(Hans Moravec)이 1980년대 후반 지적했듯, 인간에게 가장 어려워 보이는 작업이 기계에는 식은 죽 먹기인 반면, 아이가 무심코 해내는 일들은 기계에 큰 도전이다. 인간이 물리적 영역과 상호작용하는 능력은 진화 과정에서 너무 일찍 자리 잡아 "고차원 추론"보다 더 본능적이라는 것이다. 핵심 질문은 이 체화된 지능을 기계에 부여할 수 있는가다.

2018년 10월, ChatGPT 출시 4년 전 OpenAI는 로봇 손 'Dactyl'을 발표했다. Shadow Robot의 기성 손을 사용해 관절·서보·모터를 정밀 시뮬레이션한 가상 손이 강화학습으로 가상 큐브를 수천 번 조작한 끝에 실제 루빅스 큐브의 면을 맞추는 데 성공했다. 그러나 Dactyl은 큐브가 손에서 미끄러지면 회복하지 못했고, 손의 각도가 정확하지 않으면 작동하지 않았으며, 심지어 그 큐브는 표면 이동을 추적하는 센서가 내장된 변형 큐브였다. OpenAI는 이후 로보틱스를 접고 대형 언어모델에 집중했다가 최근 다시 시작했다.

Dactyl의 실패는 시뮬레이션 접근법이 사장됐다는 인식으로 이어졌고, 그 원인은 "sim-to-real gap"으로 불렸다. 그러나 아그라왈과 하르노야는 시뮬레이션을 실제에 더 가깝게 만들면 그 격차를 좁힐 수 있다고 믿고 각자의 자리에서 연구를 이어갔다.

구글 딥마인드의 하르노야는 가상 강화학습으로 소형 휴머노이드 로봇이 축구를 하도록 훈련하는 프로젝트를 진행했다. MIT의 아그라왈은 손바닥 안에서 잡는 것이 아니라 위에서 물체를 쥐는 로봇 손을 연구했다. 후자는 손가락이 무엇을 하고 있는지, 큐브가 어떻게 반응하는지를 중력까지 고려해 매 순간 파악해야 했다. Dactyl 출신 동료에게 프로젝트를 설명하자 "절대 안 될 것"이라는 한 시간짜리 강의를 들었다고 그는 회고했다.

2021년 말 아그라왈은 거꾸로 뒤집힌 자세에서도 2,000개의 물체를 조작할 수 있는 가상 손을 만들었다. 하지만 이 무렵 시뮬레이션 기반 접근은 로보틱스 학계에서 인기를 잃고 있었고, ChatGPT 열풍과 함께 비전-언어-액션(VLA, vision-language-action) 모델이 떠올랐다. 자금력 있는 스타트업들은 사람이 티셔츠를 접거나 로봇을 원격 조작하는 영상 데이터를 대량 학습시켜 새 로봇 기술이 자연스레 출현하길 기대하는 방향으로 움직였다.

Eka는 다른 길을 택했다. 사람이 학습 데이터를 제공하는 대신, 로봇이 시뮬레이션 세계 안에서 수천 시간 연습하며 스스로 해법을 발명하도록 한다. 이 점에서 Eka의 봇은 다양한 보드게임을 초인적 수준으로 학습한 구글 딥마인드의 AlphaZero에 가깝다는 설명이다.

기자가 시연 자리에서 직접 귀마개 상자, 헤어브러시, 푹신한 키링이 달린 자기 열쇠 뭉치까지 테이블에 올려놓자 로봇은 매번 부드럽게 한두 번 톡톡 건드린 뒤 잡아 들어 올렸다. 기자가 열쇠를 빼앗으려 하자 잠시 저항했다가 놓아주고는 곧바로 테이블로 시선을 돌려 다음에 집을 물건을 찾는 모습이 인상적이었다고 전했다.

UC 버클리 교수이자 Eka의 자문을 맡고 있는 켄 골드버그(Ken Goldberg)는 "풀킷은 매우 창의적인 사상가"라며 "항상 다른 사람들이 가지 않는 방향으로 밀고 나간다"고 평가했다. 두 창업자는 손재주 문제 해결에 "절반쯤 와 있으며, 이제 남은 것은 접근법을 확장하는 일"이라고 자신했다.