메타, 추천 검색 마이크로서비스 한 모델로 통합한 'SilverTorch' 공개

메타가 자사 앱 패밀리의 추천 시스템을 단일 신경망으로 재설계한 'SilverTorch'를 공개했다. 사용자 생성 콘텐츠(UGC) 검색에 쓰이던 마이크로서비스 메시 전부를 하나의 PyTorch 모델로 묶은 새 아키텍처다.

메타가 함께 공개한 SIGIR 2026 본 트랙 논문 'SilverTorch: A Unified Model-based System to Democratize Large-Scale Recommendation on GPUs'에 따르면, 8천만 개 아이템 종단 평가에서 SilverTorch는 동일한 모델 아키텍처 위에 세워진 전통적 멀티서비스 베이스라인 대비 초당 요청 기준 처리량을 23.7배로 끌어올렸다. CPU 기반 솔루션 대비 추정 TCO(총소유비용) 효율은 20.9배 개선됐고 정확도도 함께 좋아졌다.

기존 산업 추천 검색 시스템은 신경망이 일관성 없이 끼워 넣어진 마이크로서비스 묶음이었다. 수백만 개 콘텐츠를 100밀리초 안에 수천 개로 좁혀 랭킹 단계에 넘기는 검색 레이어가 모델 복잡도와 평가 가능한 후보 수에 단단한 상한을 만들었고, 결국 사용자에게 노출되는 추천 품질의 천장이 됐다.

마이크로서비스 패러다임은 CPU 시대에는 잘 작동했지만 세 가지 구조적 한계가 누적됐다. 서비스 간 홉마다 네트워크 왕복과 직렬화 비용이 100밀리초 예산을 갉아먹었고, 사용자 타워 모델·아이템 인덱스·필터링 규칙이 제각각 업데이트돼 v1 임베딩에 v2 사용자 표현을 질의하는 식의 품질 격차가 발생했으며, ML 엔지니어의 PyTorch와 인프라 엔지니어의 C++ 환경 사이를 매번 통역하느라 검색 개선 한 사이클이 몇 주에서 몇 달씩 걸렸다.

SilverTorch는 마이크로서비스 시스템에 신경망을 끼워 넣는 게 아니라 신경망에서 출발해 바깥으로 설계를 확장하는 'Index as Model' 패러다임을 채택했다. 아이템 인덱스, 자격 필터, 스코어링 레이어, 사용자 타워 등 모든 검색 구성요소가 단일 PyTorch 모델 안의 텐서나 연산자가 되며 배포 아티팩트도 하나, 포워드 패스도 하나, 시스템 내용의 단일 진실 원천도 하나가 된다.

단일 신경망 안에서는 영역별로 역할이 나뉜다. ANN(근사 최근접 이웃) 탐색 영역이 카탈로그 전체를 훑지 않고도 사용자 관심에 가장 가까운 후보를 찾고, 자격 필터 영역이 언어·국가·콘텐츠 정책을 검사하며, 멀티태스크 리랭킹 영역이 좋아요·공유·댓글 같은 여러 참여 행동의 확률을 동시에 예측해 합성 점수를 만든다. 일부 영역은 엔지니어가 손으로 작성하고 일부는 역전파로 종단간 학습되지만, 런타임 입장에서는 모두 PyTorch 표준 단위인 nn.Module로 서로 구분되지 않는다.

기존 프로덕션 파이프라인에서 ANN 검색은 FAISS, 자격 필터링은 인버티드 인덱스, 신경 리랭킹은 독립형 초기 랭킹 서비스, 합성 스코어링은 규칙 기반 집계로 대부분 독립 C++ 서비스였다. 모듈을 사슬처럼 이어 ANN 출력을 필터로 넘기는 식은 가능했지만 '유망한 클러스터를 먼저 고르고 그 안에서만 필터링한 뒤 살아남은 후보만 스코어링'하는 모듈 간 공동 최적화는 불가능했다. 메타는 이 공동 설계를 가능하게 하기 위해 모든 모듈을 순수 PyTorch로 재구현하기로 결정하고, 모든 데이터를 텐서로, 모든 로직을 텐서 입출력으로, 모든 모듈을 표준 nn.Module 인터페이스에 맞췄다.

메타는 SilverTorch가 자사 앱 패밀리 전반에서 피드와 비디오 콘텐츠를 떠받치는 주요 검색 시스템으로 확장 가능함이 입증됐다고 밝혔다. 빠듯한 지연 예산 안에서 신경 리랭킹과 멀티태스크 스코어링을 실용화한 덕분에, 마이크로서비스 구조에서는 비현실적이었던 검색 품질 개선이 일관되게 가능해졌다는 설명이다.