엔비디아 Nemotron 3 Nano Omni, AWS SageMaker JumpStart 데이 제로 등록… 30B/3B MoE·131K 컨텍스트로 비디오·오디오·이미지·텍스트 단일 추론

AWS가 엔비디아의 멀티모달 모델 'Nemotron 3 Nano Omni'를 Amazon SageMaker JumpStart에 데이 제로(day zero)로 등록했다고 밝혔다. 비디오·오디오·이미지·텍스트 입력을 단일 효율적 아키텍처에서 처리해, 한 번의 추론 패스에서 모달리티를 넘나드는 기업용 애플리케이션을 구축할 수 있다는 설명이다.

Nemotron 3 Nano Omni는 총 300억 파라미터 가운데 30억이 활성화되는 '30B A3B' 구조의 오픈 멀티모달 거대언어모델이다. Mamba2 Transformer Hybrid Mixture of Experts(MoE) 아키텍처에 언어 백본 'Nemotron 3 Nano LLM', 비전 인코더 'CRADIO v4-H', 음성 인코더 'Parakeet' 세 핵심 구성 요소를 결합했다.

이 모델은 13만 1,000(131K) 토큰의 컨텍스트 길이를 지원하며, 사고 사슬(chain of thought) 추론, 도구 호출(tool calling), JSON 출력, 전사(transcription) 작업의 단어 단위 타임스탬프를 제공한다. SageMaker JumpStart에서는 FP8 정밀도로 제공되고, 라이선스는 상업적 사용이 가능한 'NVIDIA Open Model Agreement'다.

입력 제약은 비디오 mp4 최대 2분·256프레임, 오디오 wav·mp3 최대 1시간·8kHz 이상 샘플링, 이미지 JPEG/PNG(RGB) 표준 해상도, 텍스트 최대 131K 컨텍스트다. AWS는 컴퓨터 사용 에이전트, 문서 인텔리전스, 오디오·비디오 이해 에이전트 세 갈래의 기업 활용 시나리오를 제시했다.

컴퓨터 사용 에이전트 영역에서는 GUI 화면을 읽고 시간에 따른 UI 상태를 이해하며 결과를 검증하는 인지 루프를 단일 모델로 통합하고, 실행 에이전트가 동작을 처리하는 분업이 가능해진다. 적용 예로는 사고 관리(incident management) 대시보드, 에이전틱 검색, 브라우저 자동화, 이메일 워크플로 에이전트가 제시됐다.

문서 인텔리전스 영역에서는 차트·표·스크린샷·혼합 미디어 입력을 함께 해석해 시각 구조와 텍스트 내용에 걸쳐 일관된 추론이 가능하다. AWS는 계약서, 작업 명세서(SOW), 재무 문서, 과학 문헌 등 기업 분석·컴플라이언스 워크플로에 핵심적이라고 설명했다.

오디오·비디오 이해 에이전트는 발화 내용·시각 자료·문서를 단일 추론 흐름으로 묶어낸다. 회의 녹화 분석, 미디어·엔터테인먼트 자산 관리, 드라이브스루 주문 검증, OCR을 활용한 특정 주소 배송 확인 등 고객 서비스 비디오 리뷰 사례가 제시됐다.

배포는 Amazon SageMaker Studio의 JumpStart에서 모델 카드를 선택해 인스턴스 유형(예: ml.p4d.24xlarge 또는 ml.p5.48xlarge)을 구성한 뒤 원클릭으로 실행하거나, SageMaker Python SDK의 'JumpStartModel'로 프로그램적으로 배포할 수 있다. 권장 추론 파라미터는 'Thinking' 모드에서 temperature 0.6·top_p 0.95·max_tokens 20480(복잡한 추론용), 'Instruct' 모드에서 temperature 0.2·max_tokens 1024(일반 작업 및 ASR용)다.