엔비디아, AR 글래스에 AI 에이전트 심는 개발자 라이브러리 'XR AI' 공개
엔비디아가 AR 글래스를 비롯한 XR 기기의 입력을 AI 모델과 기업 데이터, 도구, 가속 컴퓨팅에 연결해 현장에서 인식하고 추론하며 행동하는 AI 에이전트를 만들 수 있는 개발자 라이브러리 'NVIDIA XR AI'를 공개했다. AI가 챗봇과 코파일럿을 넘어 물리적 세계로 들어가는 흐름에 맞춘 것이다.
엔비디아는 실험실과 공장, 병원 곳곳에서 새로운 세대의 AI 에이전트가 사람 곁에서 환경을 이해하고 지식에 접근하며 실시간으로 행동하기 시작했다고 설명했다. 다만 모델과 스킬, 도구, 에이전트 런타임을 결합해 손으로 하는 일을 돕는 시스템을 만드는 일은 까다롭다고 덧붙였다.
이런 에이전트는 영상·음성·센서 데이터로 세계를 인지하고, 빠르게 변하는 상황과 공간 맥락을 해석하며, 기업 시스템에서 정보를 끌어오고, 다음 행동을 추론해 소프트웨어 도구로 작업을 끝내야 한다. 이 모든 과정이 낮은 지연으로, 사용자를 방해하지 않으면서 이뤄져야 한다.
XR AI는 네 가지 핵심 역량을 묶었다. NVIDIA 네모 에이전트 툴킷이 도구 사용과 추론 워크플로, 다중 에이전트 조율을 맡고, DGX 스파크와 DGX 스테이션, RTX 프로 시스템 같은 엔비디아 가속 컴퓨팅 플랫폼이 클라우드·데이터센터·엣지에서 추론을 돌리는 인프라를 제공한다.
지멘스는 연구 차원에서 XR AI와 DGX 스파크로 공장 엔지니어가 정비 정보를 찾고 문제를 진단하며 작업을 검증하도록 돕는 방법을 살피고 있다. 가벼운 글래스를 쓴 엔지니어가 프로그래머블 로직 컨트롤러(PLC) 문제를 AI 에이전트에 묻고 실시간 안내를 받는 식이다.
과학 연구용 AI를 만드는 오토바이오 기업 라나는 XR AI 위에 'LabOS' 시스템을 올려 공간 지능을 실험 워크플로에 직접 가져왔다. 복잡한 실험 과정을 손을 쓰지 않고 실시간으로 안내하며, 스탠퍼드대 의대 콩 랩과 프린스턴대 왕 랩의 줄기세포 치료·유전자 편집 연구에서 시작했다.
XR AI 구조 위에 만들어진 LabOS 코사이언티스트는 실험실 환경을 인지·이해하고 행동하며, 연구자가 올바른 시료와 크리스퍼(CRISPR) 유전자 편집기를 찾도록 돕고 각 실험 단계를 안내하면서 재현 가능한 구조적 기록을 남긴다. LabOS는 메타와 로키드, 뷰처의 스마트글래스와 호환된다.
뷰처는 XR AI를 웨어러블 인터페이스에 통합해 작업자가 작업 지점에서 맥락을 찾고 다음 단계를 안내받도록 했다. 피츠버그대 의료센터(UPMC)의 수리얼리티 랩은 수술실에서 XR AI와 DGX 스테이션으로 수술팀을 돕는 사례를 선보였는데, 집도의의 시야를 가리지 않으면서 필요한 정보를 띄우도록 설계했다.
자동차 디자인에서는 이노액티브가 DGX 스파크로 디자인 리뷰와 제품 쇼룸, 디지털 트윈의 맥락을 보존해 일회성 작업을 반복 가능한 기업 프로세스로 바꾸는 방법을 보여준다. 여러 아카데미상과 에미상을 받은 애틀랜틱 스튜디오는 XR AI로 관객이 음성 명령으로 지금의 타이태닉호를 몰입형으로 탐험하도록 했다.
엔비디아는 AI 에이전트가 물리적 세계를 인지하고 도구를 쓰며 기업 지식에 접근하고 사람과 협업하게 되면서 새로운 종류의 디지털 노동자가 되고 있다고 밝혔다. XR AI는 실험실과 공장, 병원, 몰입형 환경을 위한 이런 에이전트를 만드는 데 필요한 라이브러리와 가속 컴퓨팅 기반을 제공한다고 회사는 설명했다.