무스타파 술레이만 마이크로소프트 AI CEO, "AI 컴퓨트 2028년 말까지 1,000배 증가" 전망

마이크로소프트 AI CEO 무스타파 술레이만이 MIT 테크놀로지 리뷰에 기고한 글에서, AI 발전이 당분간 벽에 부딪히지 않을 것이라며 컴퓨트 폭발이 이제 시작에 불과하다고 주장했다.

술레이만에 따르면 그가 2010년 AI 작업을 시작한 이래 프런티어 AI 모델의 훈련 데이터는 약 10의 14제곱 플롭스에서 10의 26제곱 플롭스로 1조 배 성장했다. 이 폭발적 성장을 견인하는 세 가지 기술 수렴이 진행 중이다.

첫째, 엔비디아 칩의 원시 성능이 6년 만에 8배 증가해 2020년 312테라플롭스에서 현재 2,250테라플롭스에 이르렀다. 마이크로소프트 자체 개발 칩 Maia 200은 올 1월 출시되어 자사 하드웨어 중 달러당 성능이 30% 높다. 둘째, 칩을 수직으로 적층하는 고대역폭 메모리(HBM) 기술의 최신 세대 HBM3가 전작 대비 대역폭을 3배로 늘렸다. 셋째, NVLink와 InfiniBand 같은 기술이 수십만 개 GPU를 창고 크기의 슈퍼컴퓨터로 연결한다.

이러한 발전이 합쳐진 결과, 2020년 8개 GPU에서 167분 걸리던 언어 모델 훈련이 동급 현대 하드웨어에서 4분 미만으로 단축됐다. 무어의 법칙으로는 같은 기간 5배 개선이 예측되지만 실제로는 50배를 달성했다. 2012년 AlexNet을 훈련하던 2개 GPU에서 현재 최대 클러스터의 10만 개 이상 GPU로 규모가 확대됐다.

소프트웨어 혁명도 가속을 더한다. Epoch AI 연구에 따르면 고정 성능 수준에 도달하는 데 필요한 컴퓨트가 약 8개월마다 절반으로 줄어, 무어의 법칙의 18~24개월 주기보다 훨씬 빠르다. 일부 최신 모델의 서빙 비용은 연환산 기준 최대 900배까지 하락했다.

술레이만은 향후 전망도 제시했다. 주요 AI 연구소는 연간 약 4배씩 용량을 확장 중이고, 2020년 이후 프런티어 모델 훈련 컴퓨트는 매년 5배 성장했다. 글로벌 AI 관련 컴퓨트는 2027년까지 H100 등가 기준 1억 개에 달해 3년 만에 10배 증가할 것으로 전망된다. 이를 종합하면 2028년 말까지 유효 컴퓨트가 약 1,000배 늘어날 것으로 예상된다.

그는 이러한 컴퓨트 확장이 챗봇에서 거의 인간 수준의 에이전트로의 전환을 이끌 것이라 전망했다. 며칠간 코드를 작성하고, 수주에서 수개월 프로젝트를 수행하며, 전화를 걸고 계약을 협상하고 물류를 관리하는 반자율 시스템이 등장할 것이라는 설명이다. 2030년에는 매년 200기가와트의 컴퓨트가 추가 투입될 수 있으며, 이는 영국·프랑스·독일·이탈리아의 피크 에너지 사용량을 합친 규모에 해당한다.

에너지가 명백한 제약 요인이라는 점도 인정했다. AI 랙 1대가 120킬로와트를 소비해 100가구에 맞먹지만, 태양광 비용이 50년간 약 100배 하락하고 배터리 가격이 30년간 97% 떨어진 점을 들어 청정 에너지 기반 확장 경로가 보이고 있다고 밝혔다.