구글 GKE, AI 워크로드용 Cloud Storage FUSE 프로필 출시… 모델 로딩 시간 39시간에서 14분으로 단축

구글이 구글 쿠버네티스 엔진(GKE) 사용자를 위한 Cloud Storage FUSE 프로필을 정식 출시했다. 이 기능은 AI/ML 워크로드의 스토리지 성능 튜닝을 자동화해, 기존에 수십 페이지에 달하는 설정 가이드를 직접 탐색해야 했던 복잡한 과정을 대폭 간소화한다.

Cloud Storage FUSE는 구글 클라우드 스토리지에 저장된 데이터를 GKE에서 고성능으로 접근할 수 있게 해주는 도구다. 그러나 최적의 성능을 끌어내려면 버킷 특성, 인프라 유형(GPU/TPU), 노드 리소스, 워크로드 패턴 등 다양한 변수를 고려해 수십 가지 마운트 옵션을 수동으로 조정해야 했다.

구글은 이번에 세 가지 프로필을 도입했다. 첫째, gcsfusecsi-training은 GPU와 TPU에 데이터를 지속적으로 공급하기 위한 고처리량 읽기에 최적화돼 있다. 둘째, gcsfusecsi-serving은 모델 로딩과 추론에 맞춰 설계됐으며, Rapid Cache를 자동 통합해 콜드 스타트 시 모델 로딩 속도를 높인다. 셋째, gcsfusecsi-checkpointing은 수 기가바이트 규모의 체크포인트 파일을 빠르고 안정적으로 쓰는 데 최적화됐다.

이 프로필들은 계층형 모델로 작동한다. 사용자가 프로필 기반의 Pod를 배포하면, GKE가 자동으로 버킷(또는 특정 디렉터리)의 크기와 오브젝트 수를 스캔하고, 대상 노드의 가용 RAM, 로컬 SSD, 가속기 유형을 분석한 뒤, 최적의 캐시 크기와 백업 매체를 자동으로 계산해 설정한다.

실제 성능 효과도 극적이다. 구글에 따르면, 서빙 프로필을 적용한 결과 Qwen3-235B-A22B 워크로드의 TPU(480GB) 환경에서 모델 로딩 시간이 39시간에서 단 14분으로 단축됐다. 이는 별도의 수동 튜닝 없이 프로필만으로 달성한 결과다.

구글은 이 기능의 핵심 장점으로 네 가지를 제시했다. 복잡한 수동 설정을 세 가지 목적별 스토리지클래스로 대체하는 튜닝 간소화, 실시간 환경 신호를 기반으로 캐시 크기를 자동 조정하는 리소스 인식 최적화, 서빙 프로필에서 Rapid Cache를 자동 활성화해 읽기 성능을 가속하는 기능, 그리고 자동 튜닝 결정 과정을 구조화된 로그로 제공하는 세밀한 성능 인사이트다.

구글은 많은 고객이 최적화되지 않거나 잘못 설정된 Cloud Storage FUSE 설정 탓에 가용 성능을 활용하지 못하거나, Pod의 메모리 부족(OOM) 종료 같은 안정성 문제를 겪고 있었다고 밝혔다. 이번 프로필 도입은 이러한 문제를 근본적으로 해소하기 위한 것이다.

Cloud Storage FUSE 프로필은 GKE 버전 1.35.1-gke.1616000 이상에서 사용할 수 있으며, Cloud Storage FUSE CSI 드라이버가 활성화된 클러스터에서 바로 적용 가능하다. 프로필 기반 스토리지클래스는 GKE에 사전 설치돼 제공된다.