엔비디아, CVPR서 자율주행·로봇 개발 돕는 피지컬 AI 에이전트 스킬 공개
엔비디아가 컴퓨터비전·패턴인식 학회(CVPR)에서 자율주행차·로봇·비전 AI 시스템 개발 속도를 높여주는 새로운 '피지컬 AI 에이전트 스킬'을 공개했다. 회사는 피지컬 AI 연구의 핵심 난제가 더 강력한 모델을 만드는 것 자체가 아니라, 실제 장면을 재구성하고 예외 상황을 생성하고 정책을 학습시키고 행동을 평가하며 빠르게 반복하는 전체 워크플로를 구축하는 데 있다고 설명했다. 지금은 이런 단계들이 서로 다른 도구로 흩어져 있어 실험 속도를 늦춘다는 것이다.
이 에이전트 스킬은 엔비디아가 이번 주 초 공개한 피지컬 AI용 오픈 프런티어 모델 '코스모스 3'와 짝을 이룬다. 코스모스 3는 비전 추론과 월드·액션 생성을 하나로 통합한 세계 첫 풀 옴니모델로, 엔비디아 라이브러리·시뮬레이션 프레임워크와 함께 모델 역량을 확장 가능한 엔드투엔드 워크플로로 옮기도록 돕는다.
자율주행 영역에서는 좀처럼 모으기 어렵지만 학습·검증에 중요한 '롱테일' 상황(드문 상호작용, 특이한 도로 형상, 조명 변화, 예외적 행동)이 과제다. 엔비디아 자율주행 스킬은 AI 에이전트가 차량 군집(플릿) 데이터로부터 장면을 재구성하고 합성 시나리오를 생성하는 작업을 자동화한다. 뉴럴 리컨스트럭션 스킬은 플릿이 수집한 데이터를 시뮬레이션용 편집 가능한 3D 장면으로 바꾸며, 옴니버스 누렉(NuRec)·인스턴트누렉·하모나이저·HiGS 가속 렌더러가 재구성을 빠르게 하고 장면 현실감을 높인다.
또한 오픈소스 폐루프 강화학습 프레임워크 '알파짐(AlpaGym)'은 정책 롤아웃과 고정밀 시뮬레이션을 에이전트 스킬로 연결해 수천 개 GPU로 확장하고, 행동 조건부 생성형 월드 모델 '옴니드림스'는 정책 행동에 실시간으로 반응하는 카메라 프레임을 만들어 시뮬레이션 루프에 포토리얼리스틱 렌더링을 더한다. 엔비디아는 가장 강력한 오픈 주행 파운데이션 모델인 320억 파라미터 추론 비전언어행동(VLA) 모델 '알파마요 2 슈퍼'도 함께 공개했다. 이 모델은 레벨 4 자율주행 개발·배포를 겨냥해 주행 스택 전반에서 추론·계획·행동을 수행한다.
비전 AI 연구에서는 시각 조건·물체 상태·시간적 사건이 바뀔 때 모델 동작을 연구할 통제된 예시를 충분히 만드는 것이 병목이다. 새 엔비디아 메트로폴리스 스킬은 AI 에이전트로 이상치를 포함한 합성 시각 시나리오를 생성하고 데이터를 증강하며 의사 라벨링을 지원한다. 이 스킬은 관찰을 분석하는 추론 트랜스포머가 생성 타워에 지시를 전달하는 코스모스 3의 혼합 트랜스포머(MoT) 구조를 활용한다.
고정밀 시각 검사 모델을 만드는 연구자는 '결함 이미지 생성' 스킬로 실제 이미지를 활용해 여러 표면의 다양한 결함 예시를 만들 수 있다. 이 워크플로는 시뮬레이션용 아이작 심(Isaac Sim), 코스모스 3, 오케스트레이션·비전언어 추론용 OSMO를 결합한다. 영상 AI 에이전트를 위한 메트로폴리스 VSS 블루프린트, TAO, 비디오 증강 스킬은 방대한 영상 데이터에서 인사이트를 추출하고 모델을 미세조정하며 구축·평가 루프를 자동화한다.
로봇 학습에서는 작업·환경·형태(임바디먼트)에 따라 로봇 행동이 어떻게 달라지는지 파악할 통제된 환경과 정책 롤아웃을 충분히 구축하는 것이 관건이다. 엔비디아 로보틱스 스킬은 옴니버스 라이브러리, 아이작 심, 아이작 랩 프레임워크로 장면 준비·시뮬레이션·로봇 학습 대부분을 자동화한다. 아이작 심 6.0은 에이전트 친화적 스킬과 커넥터를 포함하며, 아이작 모빌리티 스킬은 내비게이션 워크플로를, 특화된 아이작 랩 워크플로는 심투심·심투리얼 작업을 돕는다. 의료 로봇용 '코스모스-H-수술 시뮬레이터'는 손으로 설계한 물리 모델 대신 실제 수술 데이터에서 직접 학습해 시뮬레이션과 현실 간 격차를 줄인다.
엔비디아는 자사 기술(GPU·오픈 모델·시뮬레이션 프레임워크·CUDA 가속 라이브러리)이 채택된 CVPR 2026 논문 다수에 인용됐으며 카네기멜런대·스탠퍼드대·UC버클리·칭화대·베이징대 등 주요 연구기관이 활용했다고 밝혔다. 6월 3~7일 덴버에서 열리는 CVPR에서 엔비디아는 10회째를 맞은 AI 시티 챌린지, 주행 결정을 인과 사슬 라벨로 설명하는 능력을 평가하는 PAI-AV 추론 챌린지, 실제 재구성 장면에서 폐루프 시뮬레이션으로 자율주행 정책을 검증하는 알파심 폐루프 엔드투엔드 주행 챌린지 등 공개 연구 과제도 함께 선보였다.