구글, 안드로이드 120종에서 온디바이스 LLM 벤치마크하는 'AI Edge Portal' 신기능 공개

구글이 온디바이스 LLM 성능을 휴대폰 위에서 실측·디버깅하는 'Google AI Edge Portal'에 생성형 AI 벤치마킹과 디버깅 기능을 새로 추가했다고 발표했다. Portal은 120종 넘는 안드로이드 단말 풀에서 ML 워크로드를 테스트해 CPU·GPU·NPU 백엔드별 지연과 성능 통찰을 제공한다.

그동안 개발자는 다양한 가속기, 운영체제, 수많은 SoC 구성 조합을 수작업으로 검증해야 했고, 손에 잡히는 몇 대만으로 테스트하는 경우가 일반적이었다. 구글은 이런 단편적 검증이 LLM 출시 직전 성능 사고로 이어진다고 보고 자동화 도구를 내놓은 것이다.

이번 업데이트로 Portal에서 LiteRT-LM 포맷의 LLM에 대해 CPU와 GPU 벤치마크를 직접 실행할 수 있다. 120종 이상의 안드로이드 실기 단말 풀에서 자동 벤치마크 잡을 돌려, 초기화 시간, 프리필 속도, 디코드 속도, 최대 메모리 사용량 같은 핵심 지표를 측정한다.

구글은 이러한 지표가 사용자 경험을 직결적으로 좌우한다고 설명했다. 초기화 시간이 길면 앱이 멈춘 것처럼 보이고, 모델이 가용 메모리를 모두 소진하면 최악의 경우 앱이 크래시한다는 것이다. 측정 결과를 기반으로 어떤 단말에서 모델을 서비스할지, 출시 전 어떻게 최적화할지 결정할 수 있다.

벤치마크에서 문제가 드러난 모델은 새로 통합된 그래프 시각화 도구 'Model Explorer'로 디버깅한다. 수천 개 노드가 얽힌 LLM 그래프에서 원인을 찾는 작업은 보통 며칠이 걸리지만, 같은 탭 안에서 모델을 좌우로 비교하거나 특정 노드를 검색하고 텐서 형상·입출력 흐름을 따라갈 수 있다.

Model Explorer는 컨버전 이상치를 듀얼뷰로 비교하고, 양자화로 정밀도가 손실되는 연산을 오차 지표로 정렬해 식별하며, 하드웨어 가속기별 지연을 정렬해 op 단위 성능을 비교하는 세 가지 최적화 시나리오를 지원한다. 스크린샷을 떠 구글 클라우드 협업자에게 공유하는 기능도 추가됐다.

Google AI Edge Portal은 현재 구글 클라우드의 허용 목록 고객을 대상으로 한 비공개 프리뷰로 제공되며, 프리뷰 기간 동안 무료로 사용할 수 있다. 기존 허용 고객에게는 이번 신기능이 자동으로 활성화된다.