치솟는 비용에 저렴한 소형 AI 모델로 갈아탈까…업계 경제구조 흔드는 전환 논쟁

AI 업계가 '큰 모델일수록 강력하고, 가장 강력한 모델이 승리한다'는 전제 위에 세워졌지만, 추론 비용이 치솟으면서 이 가정이 흔들리기 시작했다. 비용을 의식한 기업들이 더 작고 저렴한 모델을 다시 들여다보기 시작했고, 그 파장이 적지 않을 것으로 보인다.

코인베이스 공동창업자 브라이언 암스트롱은 X에 "지능에 대한 수요는 사실상 무한하지만, 12~18개월 안에 전체 워크로드의 80%가 99% 더 저렴한 모델에서 돌아갈 것"이라며 "IQ를 끌어올리는 게 중요한 나머지 20%만 최신 세대 모델에서 실행될 것"이라고 적었다.

이 예측이 현실이 되면 업계에는 지각변동이다. 지금까지 대부분의 AI 기업은 품질로 경쟁하며 가장 앞선 모델을 기본값으로 써 왔는데, 같은 작업을 품질 저하 없이 저렴한 모델로 처리할 수 있다면 AI의 경제 구조 자체가 크게 바뀐다.

절감액의 상당 부분은 대형 연구소 주머니에서 나오는 만큼, 기업공개(IPO)를 앞둔 오픈AI와 앤스로픽에 재정적 타격이 될 수 있다.

초기 테스트는 시스템을 잘 구성하면 품질 손실 없이 저렴한 모델로 대체할 수 있음을 시사한다. 법률 AI 도구 하비(Harvey)는 추론 플랫폼 파이어웍스 AI와 함께 진행한 테스트에서 품질을 낮추지 않고 추론 비용을 3분의 1로 줄였다. 클로드 오푸스와 파이어웍스의 GLM 5.1을 조합하고, 가장 부하가 큰 작업에만 오푸스를 투입하는 방식이었다.

하비 공동창업자 게이브 페레이라는 "품질이 최우선이며 법률에서는 언제나 그럴 것"이라면서도 "품질의 정의가 모든 작업에 가장 강력한 모델을 쓰는 것에서, 가장 효율적으로 정답을 내는 최적의 모델을 쓰는 것으로 진화하고 있다"고 말했다.

이 흐름은 흔히 대형 연구소 대 중국·오픈웨이트 모델의 대결로 묘사되지만, 진짜 경계선은 독점 모델과 공개 모델 사이가 아니라 큰 모델과 작은 모델 사이에 있다. GPT-5.5에서 딥시크 V4 플래시로 바꿔 비용을 아낄 수도 있지만, GPT-5.4-미니로 바꿔도 효과는 같다. 대형 연구소의 자체 추론과 독립적으로 서빙되는 오픈웨이트 모델 사이에 가격 전쟁이 벌어지고 있다.

이런 변화는 당연해 보이지만, 그동안 업계를 지배한 '스케일 우선' 접근과는 정면으로 배치된다. 투자자 보조금으로 가격이 크게 낮춰진 동안 고객은 가장 앞선 모델을 고르지 않을 이유가 없었다.

그러나 토큰 가격이 오르고 보조금이 줄면서 사용자는 처음으로 비용 압박에 직면했다. 호출 횟수를 줄이거나 컨텍스트를 적게 쓰거나 전망이 어두운 배포를 접는 식으로 비용을 아낄 수도 있어, 비용 압박이 실제로 소형 모델 전환으로 이어질지는 아직 불확실하다.

다만 대부분의 배포가 소형 모델에서도 똑같이 잘 돌아가는 것으로 드러나면, 커지던 추론 수요에 제동이 걸리고 프런티어 모델 훈련 비용을 정당화하기 어려워지는 새로운 물음이 제기될 수 있다.