완전 오프라인으로 작동하는 오픈소스 AI 동반자 'Open-LLM-VTuber'

Open-LLM-VTuber는 실시간 음성 대화와 시각 인식을 지원하고 생동감 있는 Live2D 아바타를 갖춘 음성 대화형 AI 동반자다. 모든 기능을 자신의 컴퓨터에서 완전히 오프라인으로 실행할 수 있다는 점이 특징으로, 최근 깃허브 트렌딩에 올랐다.

이 프로젝트는 가상의 여자친구나 남자친구, 귀여운 반려동물 등 원하는 캐릭터로 설정할 수 있는 개인 AI 동반자를 표방한다. Windows·macOS·Linux를 모두 지원하며 웹 버전과 데스크톱 클라이언트 두 가지 사용 방식을 제공한다. 특히 투명 배경의 데스크톱 펫 모드를 지원해 AI 동반자가 화면 어디에나 머물 수 있다.

이름이 Open-LLM-Companion이나 Open-LLM-Waifu가 아니라 Open-LLM-VTuber인 이유에 대해 개발진은, 윈도우 외 플랫폼에서도 오프라인으로 돌아가는 오픈소스 솔루션으로 폐쇄형 AI 브이튜버 neuro-sama를 재현하는 것이 초기 개발 목표였기 때문이라고 설명한다.

오프라인 모드에서는 로컬 모델만으로 인터넷 없이 구동되며, 대화 내용이 기기에 남아 프라이버시와 보안을 지킬 수 있다. NVIDIA와 비NVIDIA GPU를 모두 지원하고, 자원 소모가 큰 작업은 CPU로 돌리거나 클라우드 API를 쓰는 선택지도 제공한다.

상호작용 기능도 다양하다. 카메라·화면 녹화·스크린샷을 통한 시각 인식, 헤드폰 없이도 가능한 음성 인터럽트(AI가 자기 목소리를 듣지 않음), 클릭·드래그로 반응하는 터치 피드백, 감정 매핑으로 표정을 제어하는 Live2D 표현, 투명 배경과 항상 위 표시, 마우스 클릭 통과를 지원하는 펫 모드를 갖췄다. AI의 속마음을 표시하거나 AI가 먼저 말을 거는 기능, 채팅 로그 영속화, 중국어로 대화하면 AI는 일본어 음성으로 답하는 식의 TTS 번역도 지원한다.

백엔드 모델 지원 폭도 넓다. 대규모 언어 모델로는 Ollama, OpenAI 및 호환 API, Gemini, Claude, Mistral, DeepSeek, Zhipu AI, GGUF, LM Studio, vLLM 등을, 음성 인식으로는 sherpa-onnx, FunASR, Faster-Whisper, Whisper.cpp, Groq Whisper, Azure ASR 등을 통합했다. 음성 합성은 sherpa-onnx, MeloTTS, GPTSoVITS, Bark, CosyVoice, Edge TTS, Fish Audio, Azure TTS 등을 지원한다.

커스터마이징 자유도도 높다. 코드를 깊이 들여다보지 않고 설정 파일만 고쳐 기능 모듈을 전환할 수 있고, 커스텀 Live2D 모델을 가져와 외형을 바꾸거나 프롬프트로 페르소나를 빚고 음성 클로닝으로 원하는 목소리를 입힐 수 있다. Agent 인터페이스를 구현하면 HumeAI EVI, OpenAI Her, Mem0 같은 다양한 에이전트 구조를 통합할 수 있으며, 모듈식 설계로 자체 LLM·ASR·TTS 구현을 손쉽게 추가할 수 있다.

장기 기억 기능은 일시적으로 제거됐지만 곧 돌아올 예정이며, 채팅 로그가 영속 저장돼 이전에 끝내지 못한 대화를 언제든 이어갈 수 있다. 개발진은 "이 girlfriend가 10만 번 넘게 사용됐다"고 적었다. 현재 개발진은 코드베이스를 전면 재작성하는 v2.0에 집중하고 있으며, v2.0은 초기 논의·계획 단계로 v1은 버그 수정과 기존 풀리퀘스트 처리를 계속한다고 밝혔다. 프로젝트는 아직 초기 단계로 활발히 개발 중이다.