구글 LiteRT-LM, Gemma 4 지원하는 온디바이스 LLM 추론 프레임워크로 깃허브 트렌딩 진입

구글이 엣지 기기에서 대규모 언어 모델(LLM)을 고성능으로 실행하기 위한 오픈소스 추론 프레임워크 LiteRT-LM을 공개했다. 이 프레임워크는 프로덕션 환경에서 바로 사용할 수 있는 수준의 완성도를 갖추고 있으며, 깃허브 트렌딩에 진입해 하루 만에 528개의 스타를 획득했다.

LiteRT-LM은 최신 버전 v0.10.1에서 구글의 Gemma 4 모델 배포를 정식 지원한다. 이와 함께 명령줄 인터페이스(CLI)도 새로 도입되어, 개발자들이 코드 작성 없이 터미널에서 바로 모델을 실행할 수 있게 되었다.

지원 모델 범위도 넓다. Gemma 외에 Meta의 Llama, 마이크로소프트의 Phi-4, 알리바바의 Qwen 등 주요 오픈소스 모델을 폭넓게 지원해, 개발자가 용도에 맞는 모델을 선택해 엣지 환경에 배포할 수 있다.

플랫폼 지원 범위는 Android, iOS, 웹, 데스크톱, IoT 기기까지 아우른다. Raspberry Pi에서도 구동이 가능하며, GPU와 NPU 가속을 통해 각 하드웨어에서 최적 성능을 끌어낸다.

멀티모달 기능도 제공한다. 텍스트 외에 비전(이미지)과 오디오 입력을 처리할 수 있으며, 에이전틱 워크플로를 위한 함수 호출(Tool Use) 기능도 지원한다. 이를 통해 온디바이스에서도 도구 연동이 가능한 AI 에이전트를 구현할 수 있다.

LiteRT-LM은 이미 구글의 주요 제품에 적용되어 있다. Chrome 브라우저, Chromebook Plus, Pixel Watch 등에서 온디바이스 생성형 AI 경험을 구동하는 데 활용되고 있다.

개발 언어별로는 Kotlin(Android 및 JVM), Python(프로토타이핑), C++(고성능 네이티브)이 안정 버전으로 제공되며, Swift를 통한 iOS 및 macOS 네이티브 지원은 현재 개발 중이다.

구글은 LiteRT-LM을 AI Edge Gallery 앱과 연계해, 사용자가 별도 설정 없이 모바일 기기에서 바로 모델을 실행해볼 수 있는 환경도 함께 제공하고 있다. 엣지 AI 추론 프레임워크 시장에서 구글의 존재감이 한층 강화될 것으로 보인다.