위성이 스스로 관심 지역 찾아냈다, 구글 젬마3로 궤도 첫 비전언어모델 시연

지구관측 위성이 사람의 개입 없이 스스로 찾던 대상을 식별하는 데 처음 성공했다. 올해 4월 일어난 이 일은 비전언어모델(VLM)이 궤도에서 쓰인 첫 보고 사례로, AI가 우주 기반 센서의 능력과 가치를 근본적으로 바꿀 수 있음을 보여준다.

보통 위성은 대량의 데이터를 지상 분석가에게 내려보내고, 분석가가 머신러닝 알고리즘이나 육안으로 상황을 파악한다. 그러나 우주 인프라 기업 로프트 오비탈이 만든 우주선 'Yam-9'에서는 NASA 제트추진연구소(JPL)가 개발한 소프트웨어가 자연어 질의에 응답해 관심 영역을 직접 골라냈다.

시연을 구동한 모델은 구글 딥마인드의 젬마3로, 데이터센터에서 멀리 떨어진 제한된 하드웨어에서 작동하도록 만든 엣지용 비전언어모델이다. VLM은 대규모 언어모델의 맥락 이해 능력과 이미지 분석 능력을 결합한다. 연구진은 자연환경과 인간의 개발이 만나는 지점의 센서 데이터를 분류하거나 철도 허브 주변 인프라를 식별하도록 요청했고, 모델은 이를 해냈다.

이번 시연은 두 가지 면에서 의미가 있다. 단기적으로는 궤도에서 1차 데이터 선별을 수행해 분석가들이 헤쳐야 할 원시 데이터의 홍수를 줄이고 우주 센서를 훨씬 유용하게 만들 수 있다. 장기적으로는 우주에서 더 큰 규모의 AI 인프라를 운영할 수 있다는 증거가 된다.

로프트의 AI 책임자 폴 라세르는 테크크런치에 "이것은 우주의 상시 순찰 계층으로 가는 문을 연다"며 "VLM이 있으면 '이 국경을 감시하다가 수상한 일이 생기면 알려달라' 같은 논리를 넣고 위성과 주고받을 수 있다"고 말했다.

로프트의 우주선은 제3자 고객을 위한 플랫폼으로 설계됐고, 사업 모델은 전통적 위성 제조보다 인프라형 서비스에 가깝다. 최근 한 계약에서는 어스데일리를 위해 위성 6대를 제작·발사·운용하기로 했다. Yam-9은 2025년 가을 회사의 궤도 AI 프로젝트 선행기로 발사됐으며, 우주 컴퓨팅에 쓰이는 대표 칩 가운데 하나인 엔비디아 젯슨 오린 AGX GPU를 탑재했다.

NASA JPL AI 그룹의 기술 책임자 후안 델파 빅토리아는 젬마3 VLM의 구동 틀 역할을 한 소프트웨어 패키지 'NAVI-Orbital' 개발을 이끌었다. 젬마3는 기성품이지만, 엔지니어들은 필요한 라이브러리와 메모리를 줄이도록 이 패키지를 간소화해야 했다.

VLM이 궤도에서 쓰인 첫 보고 사례인 만큼 다른 기업들도 뒤따를 전망이다. 플래닛랩스는 젯슨 오린 프로세서를 단 위성을 운용하며 지금은 단순 객체 탐지에 쓰지만 VLM을 포함한 다른 AI 응용을 연구 중이라고 밝혔다. 우주에서 가장 큰 GPU 무리를 운용하는 케플러 커뮤니케이션스는 파트너와의 비밀유지계약을 이유로 VLM 배치 여부를 밝히길 거부하면서도, 1월 발사 이후 '여러 비공개 활용 사례가 있었다'고 했다.

라세르는 "개념을 입증한 지금, 그것이 정말 나아갈 방향"이라고 말했다. 목표는 지구 어디든 실시간으로 커버하는 위성군을 구축하는 것으로, Yam-9 같은 위성 50~100대가 필요하다고 그는 본다. 로프트는 현재 궤도에서 12대의 우주선을 운용한다.

NAVI-Space 구상은 달이나 화성을 탐사하는 우주비행사를 위한 디지털 비서를 고민하던 JPL 연구원 타란 시리악 존에게서 시작됐다. 델파 빅토리아는 "여압복을 입은 우주비행사는 키보드를 두드릴 수 없으니, 비디오게임이나 영화 속 대화형 AI 같은 비서를 제공하면 어떨까 생각했다"고 말했다. 다만 그것을 'HAL 9000'이라고 부르지는 말라고 덧붙였다.