구글 클라우드, 아파치 스파크 관리형 서비스에 AI 에이전트 기능 대거 추가

구글 클라우드가 데이터 분석·머신러닝·ETL 워크로드용 서비스인 데이터프록(Dataproc)을 '아파치 스파크 관리형 서비스(Managed Service for Apache Spark)'로 개편하고, 클러스터 배포 모드를 대대적으로 강화했다고 밝혔다. 이번 업데이트는 구글 클라우드 넥스트 26에서 발표됐다. 서비스는 인프라 관리를 완전히 추상화한 서버리스 모드와, 세밀한 인프라 맞춤과 장기 상태 처리가 가능한 관리형 클러스터 모드로 제공되며, 구글은 관리형 클러스터를 더 빠르게, 더 쉽게, 더 똑똑하게라는 세 축으로 다시 설계했다고 설명했다.

가장 큰 변화는 네이티브 실행 엔진 라이트닝 엔진(Lightning Engine)이다. Velox와 Gluten을 기반으로 한 C++ 벡터화 엔진으로, 쿼리 계획을 SIMD 벡터화에 최적화된 네이티브 명령으로 컴파일해 JVM 실행 병목을 우회한다. 구글은 이 엔진이 표준 오픈소스 스파크보다 최대 4.9배 빠르고, 기존 고속 스파크 대안보다 최대 2배 나은 가격 대비 성능을 낸다고 밝혔다. 기존 스파크 애플리케이션 코드는 바꿀 필요가 없다.

자원 확보를 쉽게 하기 위한 '플렉서블 VM'도 정식 출시됐다. 마스터·주 워커·보조 워커 노드별로 최대 10개의 머신 유형을 우선순위대로 지정하면, 서비스가 지역 내 영역을 자동으로 훑어 가용한 최적의 하드웨어 조합으로 요청을 채운다. 특정 머신 유형의 일시적 품귀로 클러스터 생성이나 오토스케일링이 막히는 문제를 줄이고, 저렴한 스팟 VM 용량을 확보하기 쉬워진다.

비용 통제 기능으로는 '제로 스케일 클러스터'와 '클러스터 예약 중지'가 정식 출시됐다. 제로 스케일 클러스터는 보조 워커(스팟 VM)만 쓰는 환경을 만들어, 처리 작업이 없으면 워커 노드를 0개까지 자동 축소하고 메타데이터 보존을 위해 마스터 노드만 남긴다. 예약 중지는 유휴 시간 한도나 지정한 미래 시각에 맞춰 클러스터를 자동으로 끄게 해, 밤이나 주말에 노는 컴퓨팅에 비용을 내지 않게 한다.

AI 측면에서는 생성형 AI와 데이터 엔지니어링을 잇는 MCP(모델 컨텍스트 프로토콜) 서버를 선보였다. 이 개방형 표준 연동으로 대규모 언어모델과 AI 비서가 기존 IAM 권한 아래에서 자연어로 관리형 스파크 클러스터에 접근해, 클러스터 생성과 작업 제출, 오토스케일링 정책 조정 같은 작업을 AI 애플리케이션에서 직접 수행할 수 있다.

데이터 워크로드 전 과정을 개발 환경 안에서 다루는 '데이터 에이전트 키트' 확장도 관리형 클러스터에서 기본 지원된다. 개발자는 구글의 독립형 에이전트 개발 플랫폼 안티그래비티 2.0을 쓰거나, VS Code·클로드 코드·코덱스 같은 선호하는 IDE에 이 기능을 가져올 수 있다. 자연어로 다중 노드 데이터 파이프라인을 작성하고, 제미나이 클라우드 어시스트로 실행 로그를 분석해 작업 실패 원인을 짚고 수정안을 제안받으며, 깃과 CI/CD 작업까지 IDE에서 처리한다.

이와 함께 관리형 스파크와 빅쿼리 사이의 읽기·쓰기 상호운용을 제공하는 '레이크하우스'도 출시됐다. 통합 서버리스 메타데이터 계층을 통해 데이터 사일로와 복잡한 변환 계층을 없애고, 구글 클라우드 스토리지의 개방형 포맷을 직접 처리하거나 교차 클라우드로 AWS 데이터셋까지 조회할 수 있다. 또 아파치 스파크 4.1과 자바 21을 적용한 클러스터 이미지 3.0이 프리뷰로 공개돼, 구조적 스트리밍의 실시간 모드 같은 기능을 지원한다.