알리바바, 앱에 바로 심는 오픈소스 벡터DB 'Zvec' 깃허브 트렌딩

오픈소스 인프로세스(in-process) 벡터 데이터베이스 'Zvec'이 깃허브 트렌딩에 올랐다. 가볍고 빠른 데다 애플리케이션에 직접 임베드되도록 설계됐으며, 알리바바 그룹 내부에서 검증을 거쳐 최소한의 설정만으로 프로덕션급 저지연·확장형 유사도 검색을 제공한다고 소개됐다.

Zvec의 가장 큰 특징은 별도 서버나 설정이 필요 없는 인프로세스 라이브러리라는 점이다. 설치 후 몇 초 만에 검색을 시작할 수 있고 완전히 로컬에서 동작하며, 노트북·서버·CLI 도구는 물론 엣지 기기까지 코드가 실행되는 곳이라면 어디서든 함께 돌아간다.

성능 면에서는 수십억 개의 벡터를 밀리초 단위로 검색한다고 내세운다. 덴스(dense)와 스파스(sparse) 임베딩, 다중 벡터 질의를 지원하고, 메모리부터 디스크까지 확장되는 다양한 벡터 인덱스 유형을 갖췄다.

6월 12일 공개된 v0.5.0에서는 전문검색(FTS) 기능이 추가됐다. 어떤 문자열 필드에든 FTS 인덱스를 붙여 자연어나 구조화된 표현식으로 질의할 수 있으며, 외부 검색 엔진 없이 자체적으로 키워드 기반 전문검색을 수행한다.

같은 버전에서 하이브리드 검색도 도입됐다. 덴스 벡터와 스파스 벡터, 스칼라 필터, 텍스트를 하나의 멀티쿼리(MultiQuery)로 묶어, 벡터 유사도와 전문검색·구조화 필터를 한 번의 질의에서 결합해 정밀한 결과를 얻을 수 있다.

대규모 데이터셋을 겨냥한 DiskANN 인덱스도 새로 들어갔다. 인덱스의 대부분을 디스크에 유지하는 온디스크 방식으로, 대규모 데이터에서 메모리 사용량을 크게 줄여준다.

생태계도 함께 확장됐다. 공식 Go·Rust SDK와 코드 없이 데이터를 살펴보고 질의를 디버깅하는 비주얼 도구 'Zvec Studio', 그리고 RISC-V 지원이 추가됐다. SDK는 파이썬(3.10~3.14), Node.js, Go, Rust, Dart/Flutter 등 여러 언어로 제공된다.

안정성과 동시성 기능도 갖췄다. 미리쓰기 로그(WAL)로 영속성을 보장해 프로세스 충돌이나 정전에도 데이터가 사라지지 않으며, 여러 프로세스가 같은 컬렉션을 동시에 읽을 수 있고 쓰기는 단일 프로세스 전용으로 처리된다.

지원 플랫폼은 리눅스(x86_64, ARM64)와 macOS(ARM64), 윈도우(x86_64)이며 소스코드로 직접 빌드할 수도 있다. 별도 설치형 서버 없이 코드 안에 곧바로 들어가는 경량 벡터 검색 엔진을 찾는 개발자에게 맞춘 선택지다.