온디바이스 AI 검색 엔진 QMD, LLM 리랭킹과 MCP 서버 지원으로 개발자 주목

온디바이스 AI 검색 엔진 QMD가 GitHub에서 하루 298개 스타를 획득하며 개발자들 사이에서 주목받고 있다. 현재 누적 스타 수는 18,309개다.

QMD는 마크다운 노트, 회의록, 문서, 지식 베이스 등 개인 데이터를 로컬에서 인덱싱하고 검색할 수 있는 도구다. 키워드 검색과 자연어 검색 모두를 지원하며, 에이전틱 워크플로우에 최적화되어 있다.

핵심 기술은 세 가지 검색 방식의 결합이다. BM25 전문 검색, 벡터 시맨틱 검색, 그리고 LLM 리랭킹을 하나로 통합해 정확도와 의미 이해를 모두 확보했다. 모든 처리는 node-llama-cpp와 GGUF 모델을 활용해 로컬에서 실행된다.

QMD는 세 가지 검색 모드를 제공한다. 빠른 키워드 검색, 시맨틱 검색, 그리고 하이브리드 검색과 리랭킹을 결합한 최고 품질 쿼리 모드다. 컬렉션별 검색과 최소 점수 필터링도 지원한다.

AI 에이전트 통합을 위한 MCP(Model Context Protocol) 서버를 내장하고 있다. Claude Desktop과 Claude Code에서 바로 연동할 수 있으며, query, get, multi_get, status 네 가지 도구를 제공한다.

MCP 서버는 기본적으로 stdio 방식으로 작동하지만, HTTP 트랜스포트를 통한 공유 서버 모드도 지원한다. HTTP 모드에서는 LLM 모델이 VRAM에 상주해 반복 로딩 없이 빠른 응답이 가능하다.

에이전틱 워크플로우를 위한 --json과 --files 출력 형식을 지원해, LLM이 검색 결과를 구조화된 데이터로 받아 처리할 수 있다. npm 패키지(@tobilu/qmd)로 설치하거나 npx로 바로 실행할 수 있다.

QMD의 차별화된 기능 중 하나는 컨텍스트 트리 구조다. 컬렉션에 설명 컨텍스트를 추가하면 검색 결과 반환 시 함께 제공되어, LLM이 문서의 맥락을 파악한 뒤 더 정확한 판단을 내릴 수 있도록 돕는다.