엔비디아 리서치, ICRA서 시뮬레이션-실세계 전이 로보틱스 연구 8건 공개

엔비디아 리서치가 국제 로보틱스 자동화 학회(ICRA)에 채택된 28편의 논문 중 8편을 묶어 공개했다. 통제된 데모와 스크립트 자동화를 넘어 실세계에서 일반화 가능하고 신뢰할 수 있는 체화 자율성으로 가는 전환점이라며, 그 토대로 시뮬레이션에서 실세계로의 전이(sim-to-real)를 제시했다.

ScheduleStream은 다중 로봇 팔 작업을 GPU에서 병렬로 계산해, 한 팔씩 순차로 처리하던 기존 스케줄러 대비 3배 속도 향상을 달성했다. NVIDIA Jetson 엣지 AI 플랫폼 같은 하드웨어에서 검증됐고 코드는 깃허브에 공개됐다.

COMPASS 정책 프레임워크는 모방 학습으로 기본 내비게이션 능력을 만든 뒤 Isaac Lab 시뮬레이션 안에서 잔차 강화학습으로 다양한 로봇 몸체에 특화시킨다. 실제 로봇 데이터는 전혀 사용하지 않으면서도 모방 학습 베이스라인 대비 평균 성공률이 4.5배 향상됐고, 자율 이동 로봇과 휴머노이드를 대상으로 한 20번의 실세계 내비게이션 시험에서 약 80% 성공률을 기록했다. 새로운 환경의 디지털 트윈에서 Omniverse NuRec과 연결해 사후 학습·검증할 수 있다.

Grasp-MPC는 손이 물체에 다가가는 순간순간을 보면서 동작을 보정하는 적응형 파지 기법이다. GraspGen 데이터셋 라벨과 CUDA 가속 모션 라이브러리 cuRobo를 활용해 8,000개 물체에 대한 시뮬레이션 궤적 200만 개를 만들고 성공·실패 사례를 함께 학습시켰다. 실제 로봇에서 잡동사니 책상과 선반의 새로운 물체를 약 75% 확률로 잡아냈는데, 베이스라인 41%를 크게 웃돈다.

Deformable Cluster Manipulation 프레임워크는 송전선 위에 자란 나뭇가지 뭉치처럼 유연하고 엉킨 물체를 다룬다. 그리퍼만이 아니라 팔 전체로 가지를 감싸 쓸어내는 방식이다. 연구진은 생물학적 성장 방정식으로 합성 나무를 생성해 Isaac 시뮬레이션 안에서 수천 그루로 학습시켰고, 실제 가지에 그대로(zero-shot) 배포됐다. 케이블 정리, 농업 점검 같은 응용을 염두에 둔다.

정밀 조립은 시뮬레이션만으로 풀기 어렵다. SPARR는 Isaac Lab에서 학습한 정책 위에, 실제 하드웨어에서 시뮬레이터 오차를 로봇 자체 카메라로 인간 시연 없이 보정하는 두 번째 층을 덧붙인다. 제로샷 시뮬-실세계 베이스라인 대비 성공률을 38% 끌어올리고 사이클 타임을 약 30% 줄였으며, 학습에 포함되지 않은 미국 표준기술연구소(NIST) 조립 과제에서는 성공률이 약 75% 개선됐다.

Refinery는 한 단계의 끝 상태가 다음 단계의 가능 여부를 좌우하는 다단계 조립을 다룬다. 초기 조건에 따른 성공률 변화를 학습해 각 단계를 다음 단계가 가능한 자세로 마무리한다. 시뮬레이션 성공률 91%를 기록했고 베이스라인 대비 평균 약 11% 향상을 보였으며 실세계 결과도 비슷했다.

PEEK는 시각 언어 모델로 작업 지시를 읽어 카메라 시야에서 의미 있는 영역만 강조해 정책에 넘기는 파이프라인이다. 시뮬레이션만으로 학습된 정책에 PEEK를 더했을 때 실세계 정확도가 41배 향상됐고, 대형 시각-언어-행동(VLA) 모델과 소형 정책에서는 2~3.5배 이득이 나왔다. 이미지 단계에서 작동하기 때문에 어떤 카메라 기반 정책에도 수정 없이 결합된다.

'Do What You Say'는 카네기멜런대·유타대·시드니대와의 협업으로, AI 모델이 단계 계획을 올바로 추론하고도 실제로는 다른 동작을 수행해 버리는 실패 모드를 다룬다. 'Manhattan 칵테일을 만들어 달라'처럼 긴 작업을 단계별로 쪼개 순차 실행해야 하는 상황에서 특히 문제가 된다.