아마존, 셔플박스 기반 데이터센터 네트워크 'RNG'로 라우터 69% 감축

아마존웹서비스(AWS)가 데이터센터 네트워크 설계의 오랜 난제를 풀었다고 밝히며 2024년 말부터 신형 아키텍처를 자사 데이터센터에 조용히 배치해왔다고 공개했다. 새 설계는 데이터 전송 속도를 크게 높이는 동시에 전력 사용을 줄여, 클라우드 인프라 경쟁에서 아마존에 우위를 안길 가능성이 있다.

핵심 기술은 전통적 구조형 네트워크와 무작위 아키텍처의 장점을 결합한 '준무작위(quasi-random)' 설계다. 무작위 그래프 기반 네트워크는 수십 년간 연구돼 왔지만 실제 대규모 배치에 성공한 사례가 없었다. AWS는 이 문제를 풀었다고 주장하며, 관련 논문 'RNG: Flat Datacenter Networks at Scale'을 지난달 발표했다. RNG는 회복력 있는 네트워크 그래프(resilient network graphs)의 약자다.

매트 레더(Matt Rehder) AWS 네트워크 엔지니어링 부사장은 와이어드 단독 인터뷰에서 "네트워크를 사실상 평탄화함으로써 기존 설계가 갖고 있던 병목을 제거했다"며 "대규모로 이를 구현한 곳은 우리뿐"이라고 말했다. 흥미롭게도 이 연구는 생성형 AI 학습용이 아닌 일반 데이터센터 효율화를 목표로 한다. 레더는 "RNG는 우리 핵심 수요에는 잘 맞지만, AI 학습 트래픽은 매우 조율되고 중앙에서 지휘되므로 무작위 그래프 모델과는 다르다"고 설명했다.

통신·데이터센터 네트워크는 1980년대 중반 이후 '팻트리(fat-tree)' 토폴로지가 사실상 표준으로 자리 잡았다. 두세 층의 스위치·라우터를 수직으로 쌓고 상단의 굵은 노드에서 대역폭을 모아 병목을 줄이는 구조다. 안정적이지만 경직돼 있고 배선이 복잡한 단점이 있다. 케이블링은 네트워킹 비용에서 가장 큰 항목 중 하나로, 아마존의 글로벌 데이터센터는 현재 2천만 km 길이의 광섬유 케이블로 연결돼 있다. 이는 지구와 달을 25회 왕복할 수 있는 거리다.

무작위 그래프 토폴로지를 처음 제안한 것은 2012년 일리노이대 어바나샴페인의 브라이튼 갓프리(Brighten Godfrey) 컴퓨터과학 교수 연구팀이었다. 갓프리팀은 'Jellyfish'라는 개념을 통해 라우터·스위치를 무작위로 연결하면 점진적 확장과 효율 측면에서 팻트리를 능가할 수 있다고 주장했다. 그러나 무작위 그래프에서는 데이터 경로가 너무 다양해 라우팅과 배선이 더 까다로워지는 난점이 있었다. 비슷한 시기에 구글은 광회로 스위칭(OCS)으로 작은 거울을 이용해 광 케이블을 실시간 재구성하는 별도 해법을 도입했지만, 엔지니어링 복잡도와 비용이 함께 늘었다.

AWS의 도전은 2023년부터 학계 출신을 영입한 팀이 주도했다. 논문의 주저자인 자코모 베르나르디(Giacomo Bernardi)와 아마존 스칼라 라툴 마하잔(Ratul Mahajan), C.S. 세샨드리(C.S. Seshandhri)가 이끄는 팀은 처음에 영국 물리학자 로저 펜로즈의 이름을 딴 '펜로즈 타일링(Penrose tiling)'에 착안해 반복 패턴의 평면 메시를 시뮬레이션했다. 그러나 결과는 기대만큼 나오지 않았고, 구조 부분을 무작위로 대체하자 효율이 더 좋아졌다. 베르나르디는 "혼돈을 받아들여 준무작위 접근법을 채택했다"고 밝혔다.

설계의 핵심 장비는 라우터 간 연결을 내부에서 무작위로 섞어주는 광학 장치 '셔플박스(ShuffleBox)'다. 와이어드는 캘리포니아 쿠퍼티노의 AWS 네트워킹 랩에서 기존 팻트리 구조 라우터 사이를 어지럽게 뒤덮은 케이블 다발과, 셔플박스를 거쳐 가지런히 정렬된 새 설계의 케이블을 직접 비교 관찰했다.

레더는 RNG가 기존 네트워크 대비 라우터·스위치 수를 69% 줄이고, 데이터 처리량을 33% 높이며, 네트워크 전력 소비를 40% 낮추고, 운영비를 27% 줄인다고 밝혔다. 첫 RNG는 2024년 아일랜드 더블린 데이터센터에 적용된 뒤 독일·스페인 데이터센터로 확장됐고, 현재 새로 짓는 아마존 데이터센터 대부분이 RNG 네트워킹 프로토콜로 구축된다고 회사는 설명했다.