NVIDIA·지멘스 헬시니어스, 초음파 raw 데이터 직접 학습 'NV-Raw2Insights-US' 공개… 환자별 음속 맵·Holoscan Sensor Bridge로 ACUSON Sequoia DisplayPort 스트리밍, Blackwell GPU 추론

NVIDIA와 지멘스 헬시니어스(Siemens Healthineers) 연구진이 초음파의 raw 센서 데이터에서 직접 학습하는 재구성 모델 'NV-Raw2Insights-US'를 공개했다. 전통적인 빔포밍 기반 파이프라인을 거치지 않고 raw 채널 데이터를 활용해 환자별로 다른 음속(speed of sound)을 추정하고 실시간으로 영상을 보정하는 것이 특징이다.

기존 초음파는 안전성·실시간성·휴대성·저비용으로 가장 널리 쓰이는 의료영상 모달리티지만, 수십 년간 손으로 설계된(hand-engineered) 재구성 파이프라인을 사용해왔다. 이 과정에서 raw 센서 측정값이 최종 이미지로 압축되며, 인체 내 음속이 일정하다는 등의 단순화된 물리 가정이 적용된다. NVIDIA는 AI·파운데이션 모델 시대에 이 파이프라인을 넘어서 raw 데이터에서 직접 학습할 수 있을지 질문을 던졌다고 밝혔다.

NV-Raw2Insights-US는 완성된 이미지가 아니라 초음파 프로브가 포착한 raw 신호에서 직접 학습한다. NVIDIA는 이 모델 부류를 'Raw2Insights'로 명명했으며, 첫 응용으로 적응형 영상 포커싱(adaptive image focusing)을 위한 음속 추정을 수행한다고 설명했다. 시스템은 환자별 맞춤형 음속 맵을 생성해 실시간으로 이미지를 보정한다.

기존에는 복잡하고 시간이 많이 걸리던 연산이 단일 AI 추론 패스로 수행된다. NVIDIA는 이를 raw 초음파 채널 데이터를 실행 가능한 인사이트로 전환하는 시프트라고 표현하며, 단순히 초음파 이미지를 처리하는 것이 아니라 각 환자의 물리 특성을 능동적으로 이해·적응하는 AI 시스템이라고 설명했다.

데이터 전송에는 NVIDIA가 개발한 오픈소스 FPGA IP인 'Holoscan Sensor Bridge(HSB)'가 사용된다. Altera Agilex-7 FPGA 개발 키트와 HSB를 결합해 'ACUSON Sequoia' 초음파 스캐너의 DisplayPort 출력에서 raw 채널 데이터를 스트리밍하며, NVIDIA는 이 기술을 'Data over DisplayPort'로 부른다.

HSB는 데이터를 패킷화해 RDMA over Converged Ethernet 방식으로 NVIDIA IGX에 전송한다. GPU 메모리에 데이터가 들어오면 NV-Raw2Insights-US가 Blackwell급 GPU에서 가속 추론을 실행해 환자별 음속 추정값을 만들고, 이 값이 다시 초음파 스캐너로 스트리밍돼 라이브 영상의 포커스를 개선한다.

배포 플랫폼은 NVIDIA Holoscan이다. NVIDIA IGX Thor와 NVIDIA DGX Spark 같은 시스템에서 고성능 실시간 워크로드를 지원하는 엣지 AI 센서 처리 플랫폼이다. NVIDIA는 이 데모 아키텍처가 Software-Only Integration·Software-Defined Ultrasound·Modular Expansion의 세 가지 유연성을 제공한다고 강조했다.

소프트웨어 전용 통합은 Data over DisplayPort 방식으로 기존 의료기기에 NVIDIA 가속을 추가할 수 있음을 의미한다. 소프트웨어 정의 초음파는 소프트웨어 업데이트만으로 지속적인 개선이 가능하며, 모듈식 확장은 raw 채널 데이터가 이미 GPU 메모리에 있어 새로운 AI 모델을 매끄럽게 통합할 수 있다는 점을 가리킨다.

본 프로젝트는 지멘스 헬시니어스와 긴밀한 협업으로 진행됐으며, AI & Advanced Platforms 그룹의 Ismayil Guracar와 Rickard Loftman이 직접 협력했다고 NVIDIA는 밝혔다. 다만 본 기술은 연구 개발 단계로 미국 등에서 판매 승인을 받지 않았고 향후 가용성도 보장되지 않는다고 NVIDIA는 명시했다.