추론 클라우드 General Compute, 삼바노바 SN50에 1,500만 달러 시드

AI 추론 전용 neocloud 회사 General Compute가 FUSE VC 주도로 1,500만 달러 시드 라운드를 마쳤다. 포스트머니 평가는 6,000만 달러이며 Carya Venture Partners와 Village Global Ventures가 함께 참여했다. 모델이 학습을 마친 뒤 사용자 질의에 답하는 추론 단계에 특화된 컴퓨팅 자원을 임대하는 사업이라고 테크크런치가 전했다.

회사가 풀려는 두 가지 문제는 분명하다. 첫째, 어떤 칩을 쓸 것인가. 둘째, 그 칩을 매출이 되는 데이터센터에 어떻게 들여놓을 것인가. GPU 수요는 폭발했지만 학습이 끝난 모델을 돌리는 추론에는 GPU가 최적이 아니라는 인식이 굳어지고 있다. 12월 엔비디아의 200억 달러 Groq 거래와 지난주 Cerebras의 570억 달러 IPO가 그 방향을 가리킨다.

CEO Finn Puklowski와 CTO Jason Goodison은 SambaNova의 칩을 답으로 골랐다. 인텔이 투자한 추론 전용 칩 메이커지만 한동안 실리콘밸리 대화에서 빠져 있던 회사다. 올해 공개될 SambaNova의 새 칩은 더 유연한 아키텍처와 추론 중 컨텍스트를 저장하기 위한 더 많은 메모리를 갖춰, GPU는 물론 Groq·Cerebras의 전용 칩까지 능가한다고 회사는 주장한다.

Puklowski는 새 칩이 초당 600~700 토큰을 생성하며 GPU의 약 250 토큰과 비교된다고 밝혔다. General Compute는 이 SN50 칩을 3억 달러어치 주문했고, 자사가 SN50을 배치하는 첫 neocloud가 될 것이라고 밝혔다.

칩이 공냉식이고 전력 소비가 적다는 점이 두 번째 문제도 풀어준다. 신규 인프라 투자 없이 기존 데이터센터 시설에 그대로 설치할 수 있기 때문이다. Puklowski는 데이터센터 사업자뿐 아니라 비트코인 생산비가 가격을 넘어선 상황에서 인프라 용도 전환을 모색하는 크립토 마이너들과도 콜로케이션 계약을 추진 중이다.

회사의 클라우드 서비스는 지난주 출시됐다. General Compute는 강력한 오픈소스 LLM인 MiniMax 2.7을 가장 빠르게 돌리고 있다고 주장한다.

벤처 투자자 Joe Hasselmann은 2021년 Groq에 투자하며 추론 붐의 초입에 올라탔던 인물이다. 올해 AI 영역에 집중한 신규 펀드 Evercrest Capital Partners를 출범시켰고, General Compute를 첫 투자처 중 하나로 골랐다. 그는 SambaNova-General Compute 조합에서 CoreWeave와 엔비디아의 관계, Groq의 칩 제조와 옛 클라우드 사업이 짝지어졌던 구도와 같은 평행선을 본다고 말했다. "General Compute가 SambaNova에 베팅하는 만큼, SambaNova도 General Compute에 베팅하는 것"이라고 그는 덧붙였다.

추론 클라우드는 다중 모델·다중 에이전트의 세계, 단일 공급자가 지배하지 않고 추론의 속도와 비용이 핵심 변수로 자리잡는 세계에 대한 암묵적 베팅이다. 이번 주 OpenRouter가 1억 1,300만 달러 시리즈 B를 마무리하며 사용자가 여러 모델에 접근해 토큰 지출을 최적화하도록 돕는 능력에 평가가 모인 것도 같은 흐름이다.

Puklowski는 코딩 에이전트의 한 시간짜리 작업을 5~10분짜리로 줄이고, 빠른 추론이 있어야 자연스러운 대화가 가능한 고객 서비스 음성 에이전트의 경제성을 끌어올리고자 한다. 그는 테크크런치에 "ChatGPT가 초당 50 토큰을 주면 우리가 읽는 속도보다 훨씬 빠르지만, 에이전트가 우리 대신 데이터베이스를 읽고 조회하는 에이전트-투-에이전트 시대로 옮겨오면서 속도가 더 빨라져야 한다"고 말했다.