치솟는 토큰 비용이 시험대 올린 기업들의 AI 베팅, '토크노믹스' 부상

통신 소프트웨어 기업 8x8의 직원들은 앤스로픽의 클로드로 이메일 초안을 쓰고 고객 피드백을 분석하며 코드를 작성한다. 하지만 이 AI 챗봇에 대한 의존이 커지는데도 재무팀은 지금까지 걱정하지 않는다. 메타·우버·세일즈포스 같은 다른 실리콘밸리 기업들이 생성형 AI 도구의 비용 증가를 공개적으로 우려하며 일부는 사용량 상한을 도입하기 시작한 것과 달리, 8x8은 흑자를 보고 있다고 말한다.

지난 18개월간 8x8은 불필요하다고 판단한 수십 개의 소프트웨어·교육 도구 구독을 해지해 연간 약 500만 달러를 절감한 것으로 추산한다. 클로드가 비슷한 기능을 제공할 수 있었던 것이 한 이유였다. 회사의 연환산 클로드 비용은 그 절감액을 '한참 밑돈다'고 최고전환·사업운영책임자 조엘 닙은 말한다. 그는 더 많은 직원이 AI를 도입하고 더 복잡한 업무에 적용되면 절감액과 비용이 결국 비슷해질 것으로 보면서도, 지금은 큰 격차가 있어 "CFO가 흐뭇해한다"고 전했다. 생성형 AI 총지출 액수는 공개하지 않았다.

기업들이 코딩·마케팅·고객서비스용 AI 도구에 수억 달러를 쏟아붓는 가운데, 테크 업계에는 새로운 집착이 생겼다. AI 사용 비용이 치솟는 것을 어떻게 관리할지를 뜻하는 '토크노믹스'다. 토큰은 AI 모델이 분석하고 생성하는 콘텐츠의 양을 나타낸다.

지난달 캐나다왕립은행 CEO는 최근 6개월간 자사 토큰 사용량이 500% 급증했다고 밝혔다. 시스코에서는 직원 3분의 1이 사내 AI 챗봇을 매일 사용해 "토큰 사용량이 꽤, 꽤 미친 수준이 되고 있다"고 척 로빈스 CEO가 실적 발표에서 말했다. 분석 소프트웨어 업체 앰플리튜드의 일부 최고 엔지니어들은 "한 달에 토큰에 수천 달러 이상"을 쓴다고 스펜서 스케이츠 CEO가 전했다. 박스의 에런 레빈 CEO는 "토큰 예산 논의가 가장 중요한 주제 중 하나로 완전히 자리 잡았다"며 가장 '뜨거운' 화두라고 말했다.

와이어드가 데이터 제공업체 알파스트리트의 실적 발표 녹취록을 검토한 결과, 약 300개 기업이 4월이나 5월 실적 발표 또는 금융 애널리스트와의 공개 논의에서 AI 토큰 관련 질문이나 우려를 다뤘다. 한 해 전 같은 기간 '토큰'을 언급한 기업이 93곳에 그쳤던 것과 대비된다. 여러 기업 임원들은 토큰 사용량을 모니터링하고 주어진 프롬프트에 가장 저렴한 모델을 고르는 시스템을 개발하거나 도입하려 한다고 밝혔다. 다른 이들은 목표 달성을 위해 인력 채용과 토큰 예산 증액 사이의 균형을 여전히 고민 중이라고 했다.

이 최신 세대 AI 도구가 경영진에게 유독 스트레스를 주는 데는 여러 이유가 있다. 가격이 계속 출렁이고, 이전보다 더 강력하면서 더 비싼 새 모델이 매달 나온다. 또 조직 전체가 새로운 업무 방식에 적응하기 어려워, 한 팀의 AI발 생산성 향상이 다른 팀의 병목으로 이어지기도 한다.

반대로 비용을 개의치 말고 AI를 더 쓰라고 독려하는 기업도 있다. 올해 2억 5천만 달러 매출을 예상하는 뉴욕 롱아일랜드의 의류 브랜드 베이스볼 라이프스타일 101은 지난 4월 약 50명의 핵심 관리자에게 매달 급여의 약 20%에 해당하는 금액을 AI 토큰에 쓰라고 지시했다. 공동창업자 겸 최고전략책임자 빌 롬은 그 비용이 연말이면 월 10만 달러를 넘길 것 같지만 이미 효과를 보고 있다고 와이어드에 말했다. 최근 클로드는 한 소매업체가 인기 아이스크림 무늬 반바지의 일부 사이즈 재고가 부족하다는 점을 짚어내 100만 달러 주문을 따내는 데 기여했다. 롬은 "이전엔 하루 반이 걸리던 일을 이제 한두 시간에 할 수 있고, 12개월에 걸쳐 8자릿수의 추가 매출을 안겨줄 수 있다"고 말했다. 이 챗봇은 재무 보고서 작성과 촬영 기획도 도와 주니어 인력을 덜 뽑게 해 준다.

8x8에서는 약 1,800명의 전 직원이 자신과 동료의 클로드 사용량을 보여주는 대시보드를 정기적으로 확인하도록 권장된다. "전혀 징벌적이지 않으며, 모두가 이 여정에서 바짝 붙어 가도록 하려는 것"이라고 닙은 말한다. 5월에는 제품·고객성공팀이 가장 많이 썼고 영업·재무팀이 가장 적게 썼다. 닙은 8x8이 클로드 사용량에 상한을 둘 가능성이 있다고 말했다. 지난달 출시돼 2월에 앤스로픽이 내놓은 모델보다 거의 1.7배 비싼 클로드 오푸스 4.8의 사내 사용이 늘면서 그는 최근 처음으로 CFO와 이 아이디어를 논의했다. 결정된 것은 없지만 앞으로 오푸스에 접근하려면 구형 모델로는 안 된다는 점을 입증해야 할 수도 있다. "모델을 조금 낮춰도 같은 결과를 얻을 수 있을까?"라고 그는 말한다.

그렇다고 8x8이 생성형 AI에서 물러서는 것은 아니다. 고객 만족도와 충성도 지표가 높아지는 추세이고, AI가 생성한 분석이 영업 인력의 업무를 가속하면서 매출이 4개 분기 연속 늘었다. 이를 오롯이 AI 덕으로, 또는 AI와 연관 짓기조차 어렵지만 닙은 연관성이 있다고 본다. 약 2년 전 8x8은 전 직원에게 오픈AI 챗GPT와 구글 제미나이 교육·지원을 제공하며 생성형 AI에 발을 들였다. 이후 일부에게만 클로드가 제공됐고, 지난 한 해 동안 전사 표준으로 자리 잡았다. 경영진은 사용량을 모니터링하며 AI 숙련도를 갖추길 거부하면 불이익이 따른다고 직원들에게 경고했다.

닙은 영업·재무팀을 '뒤처진 이들'로 부르며 더 많은 활용을 바란다. 두 팀은 전체 직원의 28%를 차지하지만 토큰 소비는 15%에 그친다. 그는 최근 재무팀 대상 AI 해커톤이 대금 회수나 분기 회계처럼 손이 많이 가는 업무의 자동화를 자극하길 기대한다. 닙 자신은 유튜브 인플루언서들의 AI 활용 팁을 요약해 사내에 보내는 일일 이메일을 클로드로 자동화하는데, 이 작업이 "토큰을 많이 쓴다"는 것을 알아채고 더 저렴하게 돌릴 수 있는지 클로드에 물었다. 클로드는 자동화를 다시 짜 토큰 사용량을 80% 줄였다.