메타, 추천 검색 처리량 23.7배 늘린 단일 모델 'SilverTorch' 공개

메타가 추천 시스템의 검색(retrieval) 단계를 단일 PyTorch 신경망 하나로 통합한 'SilverTorch'를 공개했다. 회사가 'Index as Model'이라 부르는 새 패러다임으로, 기존에 마이크로서비스로 흩어져 있던 ANN(근사 최근접 이웃) 검색, 자격 필터링, 신경 재랭킹, 복합 스코어링을 모두 하나의 모델 모듈로 표현한다.

핵심 성과는 처리량과 비용 효율이다. 8천만 아이템을 다루는 종단간 평가에서 SilverTorch는 동일한 모델 아키텍처로 만든 기존 멀티 서비스 베이스라인보다 초당 요청 수를 23.7배 더 처리했고, 추정 총 소유비용(TCO) 효율은 20.9배 좋아졌다. 100밀리초 이내 응답이라는 검색 단계 지연 요건도 그대로 유지된다.

메타에 따르면 추천 검색 단계는 릴스·사진 등 수백만 건의 콘텐츠에서 100밀리초 안에 수천 건의 후보로 좁혀 랭킹 단계로 넘기는 역할을 한다. 그동안은 사용자 임베딩을 만드는 user-tower 서비스, 후보를 찾고 거르는 retrieval 서비스, 점수를 매기는 scoring 서비스가 따로 돌고 오케스트레이터가 결과를 합쳐 다음 단계로 넘기는, 마이크로서비스가 사슬처럼 이어진 구조였다.

메타는 이 구조가 규모와 정교함이 커지면서 세 가지 구조적 한계에 부딪혔다고 분석했다. 서비스 간 호출마다 네트워크 왕복과 직렬화가 100밀리초 예산을 갉아먹었고, 필터링·검색·스코어링이 따로 설계돼 함께 최적화할 수 없었다. 또 사용자 모델과 아이템 인덱스, 필터 규칙이 각자 다른 주기로 갱신돼 v2 사용자 표현이 v1 아이템 임베딩과 만나는 품질 격차가 생겼다. 머신러닝 엔지니어는 PyTorch로, 인프라 엔지니어는 C++로 일하는 사일로 환경도 매 개선 사이클을 몇 주에서 몇 달씩 늘렸다.

SilverTorch는 마이크로서비스 위에 신경망을 얹는 대신 신경망에서 출발해 바깥으로 설계를 확장한다. 아이템 인덱스, 자격 필터, 스코어링 계층, user-tower가 모두 하나의 PyTorch 모델 안에서 텐서나 연산자가 된다. 결과적으로 배포할 산출물은 하나, 실행은 단일 forward pass, 시스템 상태의 진실 공급원도 하나뿐이다.

모델 내부에서는 영역마다 역할이 다르다. ANN 검색 영역은 카탈로그 전수 점검 없이 사용자의 관심과 가장 비슷한 아이템을 찾고, 자격 필터링 영역은 언어·국가·콘텐츠 정책 기준에 맞는 후보만 통과시키며, 다중 작업 재랭킹 영역은 좋아요·공유·댓글 같은 여러 참여 행동의 확률을 동시에 예측해 복합 점수를 만든다. 일부 영역은 엔지니어가 직접 작성하고, 일부는 역전파로 종단간 학습된다. 런타임에서는 모두 PyTorch 표준 nn.Module로 보여 구분되지 않는다.

이 통합을 가능하게 한 핵심 결정은 모든 모듈을 순수 PyTorch로 다시 구현한 것이다. 데이터는 전부 텐서로 표현되고, 로직은 텐서를 입력받아 텐서를 내놓으며, 모든 모듈이 PyTorch 표준 인터페이스를 따르는 nn.Module이다.

기존에는 ANN 검색은 FAISS, 자격 필터링은 역인덱스, 신경 재랭킹은 별도 초기 스테이지 랭킹 서비스, 복합 스코어링은 규칙 기반 집계로 각각 C++ 독립 서비스로 운영됐다. 메타는 이들을 체인처럼 묶을 수는 있어도 '가장 유망한 클러스터를 먼저 고르고, 그 안에서만 필터링한 뒤 살아남은 후보만 스코어링'하는 식의 모듈 간 공동 최적화는 어려웠다고 지적했다. 그런 공동 설계에는 모듈이 메모리·실행 그래프·컴파일 단계를 공유해야 한다.

메타는 SilverTorch가 자사 앱 패밀리 전반의 피드와 비디오 콘텐츠 검색을 떠받치는 주요 시스템으로 이미 확장 운영되고 있다고 밝혔다. 짧은 지연 시간 안에서 신경 재랭킹과 다중 작업 스코어링을 현실적으로 돌릴 수 있게 되면서, 마이크로서비스 구조에서는 비현실적이었던 추천 품질 개선이 꾸준히 가능해졌다는 설명이다.

기술 상세를 담은 논문 'SilverTorch: A Unified Model-based System to Democratize Large-Scale Recommendation on GPUs'는 정보검색 분야 학회 SIGIR 2026의 풀 페이퍼 트랙에 채택됐다.