Open-LLM-VTuber

项目简介

Open-LLM-VTuber 是一个语音交互的开源 AI 伴侣，它不仅支持实时语音对话和视觉感知，还自带一个生动的 Live2D 虚拟形象（支持最新的 Cubism 5）。你可以免耳机直接打断它说话，让它通过摄像头和截屏"看到"你和你的屏幕，甚至能化身桌宠停在桌面上，或接入直播平台和观众互动。最关键的是，它的所有核心功能都能完全离线运行在你自己的电脑上，对话数据不出本地，隐私安全。

核心特性

• 完全离线运行 — ASR、LLM、TTS 全部可用本地模型，无需联网，对话留在本机更隐私
• Live2D 虚拟形象 — 支持 Cubism 5 模型，可点击互动，后端可控制表情与情绪映射
• 实时语音交互 — 免提对话、可随时语音打断，且不用耳机也不会听到自己的声音
• 视觉感知 — 支持摄像头、录屏和截图，让 AI 伴侣能看到你和你的屏幕
• 桌宠模式 — 透明背景、全局置顶、鼠标穿透，把 AI 伴侣拖到屏幕任意位置
• 海量模型支持 — LLM 支持 Ollama、OpenAI、Gemini、Claude、DeepSeek 等，ASR/TTS 可选 Faster-Whisper、sherpa-onnx、GPTSoVITS、Edge TTS 等
• MCP 工具调用 — 通过 MCP 协议调用联网搜索、时间查询等外部工具
• 长期记忆与持久化 — 记得过往对话，聊天记录可随时切换回看
• 跨平台 — 完美支持 Windows、macOS、Linux

安装方法

推荐用 uv 从源码运行：

git clone https://github.com/Open-LLM-VTuber/Open-LLM-VTuber
cd Open-LLM-VTuber
uv sync
uv run run_server.py

默认配置使用 sherpa-onnx ASR（SenseVoiceSmall）+ Edge TTS，浏览器打开 http://localhost:12393 即可对话。也提供 Docker 镜像 t41372/open-llm-vtuber。

使用场景

• 打造完全离线、隐私安全的本地 AI 语音助手
• 给 Live2D 角色注入灵魂，做自己的虚拟伙伴或看板娘
• 桌宠模式常驻桌面，随时语音聊天
• 接入直播平台，做 AI 虚拟主播与观众互动
• 搭配本地大模型与语音模型，体验端到端离线对话
• 二次开发：模块化架构方便扩展自定义 LLM / ASR / TTS