구글 클라우드, AI용 'Cloud Storage Rapid' 공개… Rapid Bucket GA

구글 클라우드가 Cloud Next '26에서 AI·분석 워크로드용 객체 스토리지 제품군 'Cloud Storage Rapid'를 발표했다. 출시 라인업은 'Rapid Bucket'(이전 명칭 Rapid Storage·GA)과 'Rapid Cache'(이전 명칭 Anywhere Cache) 두 가지로 구성된다.

구글 클라우드는 조 단위(trillion) 파라미터 모델 학습, 글로벌 추론 배포, 방대한 엔터프라이즈 데이터를 추론하는 자율 에이전트 등 AI 워크로드가 빠르게 무거워지면서 스토리지가 가속기의 발목을 잡는 시점에 도달했다고 진단했다. 학습 중 데이터 읽기 대기나 체크포인트 쓰기 지연이 발생할 때마다 GPU·TPU의 컴퓨트 사이클이 그대로 비용으로 새 나간다는 설명이다.

Rapid Bucket(GA)은 Gemini와 YouTube를 떠받치는 구글의 분산 스토리지 시스템 'Colossus'를 활용해, 전용 존(zonal) 버킷에서 대용량 읽기·쓰기 성능과 초저지연을 제공한다. 회사는 블록 스토리지 수준의 서브밀리초 지연, 병렬 파일시스템의 처리량, 객체 스토리지의 확장성·사용 편의성을 결합했다고 설명했다.

성능 지표는 단일 Rapid 존 버킷 기준 최대 초당 2,000만 쿼리(QPS)와 서브밀리초 지연, 15TB/s 이상의 집계 읽기 처리량을 표방한다. 또한 네이티브 어펜드, 쓰기 중 무제한 동시 읽기, 벡터드 리드(vectored reads) 같은 새 시맨틱이 추가됐다. 회사는 멀티모달 학습 실행에서 차단된 GPU 시간이 50% 줄고 데이터 로딩이 최대 2.5배 빨라졌으며, 체크포인트 복원은 최대 5배, 쓰기는 3.2배 더 빨라졌다고 측정 결과를 제시했다.

Rapid Cache는 Cloud Next '25에서 'Anywhere Cache' 이름으로 처음 공개됐던 기능을 Rapid 제품군에 맞춰 개칭한 것으로, 기존 버킷에 코드 변경 없이 적용해 최대 2.5TB/s의 집계 읽기 대역폭을 제공한다. 회사 측정에 따르면 추론 워크로드에서 모델 로딩이 최대 2.1배(114%) 빨라져 TCO를 47% 절감했다.

이번 발표에서 새로 추가된 'ingest on write' 기능은 Cloud Storage 버킷에 데이터를 쓰는 시점에 Rapid Cache에도 동시에 적재해 초기 캐시 미스 지연을 제거한다. 그 결과 체크포인트 복원이 최대 2.2배 더 빨라진다는 설명이다.

회사에 따르면 Rapid Cache는 GA 이후 1년 만에 배포 수가 20배 늘었고, 현재 구글 Cloud Storage 글로벌 송신량(egress)의 최대 20%를 처리하고 있다. 대표 고객 사례로 언급된 앤스로픽(Anthropic)은 Rapid Cache로 데이터를 단일 존의 TPU와 같은 위치에 두고 최대 2.5TB/s까지 동적으로 확장 가능한 읽기 처리량을 확보해 클라우드 워크로드 회복력을 강화하고 있다.

AI 연구·제품 기업 Thinking Machines Lab도 자사 AI/ML 파이프라인 전반에 Rapid Cache를 적용했다고 밝혔다. 이 회사는 Dataflow·Kafka·Spark에서 데이터 처리, 멀티모델 학습, 그리고 오픈소스 모델 파인튜닝용 API 'Tinker' 서빙을 운영한다. 데이터 처리 허브는 한 리전에 모여 있는 반면 학습용 GPU는 여러 리전에 흩어져 있는 '허브 앤 스포크' 구조, 그리고 멀티모달 데이터셋 준비용 대규모 Spark 워크로드가 콜드에서 핫으로 즉시 급등할 때 발생하던 '429 에러'가 데이터 처리·로딩과 학습 사이클을 중단시키던 문제를 Rapid Cache로 완화했다고 회사는 설명했다.