AI Vtuber是一个由 【ChatterBot/ChatGPT/claude/langchain(本地/llm)/chatglm/text-generation-webui/闻达/千问/kimi】 驱动的虚拟主播【Live2D/UE/xuniren】,可以在 【Bilibili/抖音/快手/微信视频号/斗鱼/YouTube/twitch/TikTok】 直播中与观众实时互动 或 直接在本地进行聊天。它使用TTS技术【edge-tts/VITS/elevenlabs/bark/bert-vits2/睿声】生成回答并可以选择【so-vits-svc/DDSP-SVC】变声;指令协同SD画图。

ikaros ec1886cf59 修复:因为对接智谱 智能体 导致其他流式数据解析不兼容问题的修复(仅对智能体做特殊解析) 13 小时之前
.github 6d91581918 修复issue模板标签错误问题 4 月之前
.vscode d4b83c0239 接入Dify 聊天助手的API 3 月之前
Live2D ef4baa4d58 删减部分live2d模型 5 月之前
Scripts 769c6bd4dc 增加:拼多多 防止重定向的js调试代码 6 天之前
chatterbot 95998a121c 1 1 年之前
cookie 986a8c1810 新增通义千问的接入 1 年之前
data 8467cf1642 本地问答板块 新增文本框用于json编辑,默认用于编辑 本地问答.json,方便修改内容,你也可以用作修改其他json文件。格式一定要对啊;修复睿声格式报错错误的bug 3 月之前
docs 9bcdb7c837 更新:投资人 4 周之前
game 88485e2036 新增游戏demo例程;修改默认配置关闭积分机制 1 年之前
log 375769d3d1 补充遗漏依赖 1 年之前
models 1ba0c87467 聊天页新增 SenseVoice,需要安装funasr,模型请自行下载,ASR速度大大提升 2 月之前
out 4de7fd2444 文案页-文案音频合成新增语音合成类型选择,可以自定义TTS进行合成,不需要保存就可以切换 8 月之前
protobuf bde542fc3b 新增 抖音2 监听方案(以便适配非win平台) 4 月之前
sensevoice 1ba0c87467 聊天页新增 SenseVoice,需要安装funasr,模型请自行下载,ASR速度大大提升 2 月之前
song 200638ac6d 点歌模式 支持子文件夹的音频文件搜索,不用拘泥于一级目录了。 1 年之前
tests eb4dbd7d43 重大更新:对webui配置保存的代码实现进行了简化,只进行了简单测试,可能有bug,请谨慎使用;待办:路径统一到pathlib库规范 1 周之前
ui fa294ba62a 删除PyQT相关源码 7 月之前
utils ec1886cf59 修复:因为对接智谱 智能体 导致其他流式数据解析不兼容问题的修复(仅对智能体做特殊解析) 13 小时之前
.gitattributes 1592db8ea9 优化github issue模板等 5 月之前
.gitignore 7699573ad6 待办:尝试兼容新版gemini 1 周之前
Dockerfile abd625f7a5 新增docker(但暂时并不适用) 10 月之前
LICENSE 42ef89ffd5 哈哈,倒卖狗看清楚了,这是GPL许可证。 1 年之前
README.md 7699573ad6 待办:尝试兼容新版gemini 1 周之前
api_old.py 7a963dc0fb 弃用flask,改用fastapi(测试了 聊天页发送、微信号对接,暂时没有发现问题。稳定性待测试) 3 月之前
bak_config_data.py 5e3e07f678 升级备份脚本,补充遗漏的out文件夹,改备份为强制覆盖 11 月之前
config.json 160da9bd8b 新增:按键映射板块新增 图片映射功能,可以通过关键词或者礼物触发,将本地图片添加到虚拟摄像头用于直播使用(默认随机路径) 4 天之前
config.json.bak 160da9bd8b 新增:按键映射板块新增 图片映射功能,可以通过关键词或者礼物触发,将本地图片添加到虚拟摄像头用于直播使用(默认随机路径) 4 天之前
dy.proto 375769d3d1 补充遗漏依赖 1 年之前
dy2.py bde542fc3b 新增 抖音2 监听方案(以便适配非win平台) 4 月之前
dy_pb2.py 375769d3d1 补充遗漏依赖 1 年之前
ks.proto 375769d3d1 补充遗漏依赖 1 年之前
ks_pb2.py 375769d3d1 补充遗漏依赖 1 年之前
kuaishou_pb2.py 01a39474c6 更换快手监听方案,新方案是playwright的形式,建议使用小号。暂时只支持弹幕回复。 1 年之前
main.py 160da9bd8b 新增:按键映射板块新增 图片映射功能,可以通过关键词或者礼物触发,将本地图片添加到虚拟摄像头用于直播使用(默认随机路径) 4 天之前
overrides.txt 86b2674fe8 chore(deps): 修复依赖安装冲突 2 月之前
pyproject.toml 86b2674fe8 chore(deps): 修复依赖安装冲突 2 月之前
requirements.txt 7699573ad6 待办:尝试兼容新版gemini 1 周之前
requirements_common.txt 7699573ad6 待办:尝试兼容新版gemini 1 周之前
webui.py 160da9bd8b 新增:按键映射板块新增 图片映射功能,可以通过关键词或者礼物触发,将本地图片添加到虚拟摄像头用于直播使用(默认随机路径) 4 天之前
快手逆向.js 375769d3d1 补充遗漏依赖 1 年之前

README.md

# ✨ Luna AI ✨ [![][python]][python] [![][github-release-shield]][github-release-link] [![][github-stars-shield]][github-stars-link] [![][github-forks-shield]][github-forks-link] [![][github-issues-shield]][github-issues-link] [![][github-contributors-shield]][github-contributors-link] [![][github-license-shield]][github-license-link] [![][FOSSA-Status]][FOSSA-Status]

Luna AI 是一款结合了最先进技术的虚拟AI主播。它的核心是一系列高效的人工智能模型和平台,包括 ChatterBot、GPT、Claude、langchain、chatglm、text-generation-webui、讯飞星火、智谱AI、谷歌Bard、通义星尘、阿里云百炼(通义千问、百川、月之暗面、零一万物、MiniMax)、千帆大模型(文心一言)、Gemini、Kimi Chat、QAnything、koboldcpp、FastGPT、Ollama、One-API、AnythingLLM、LLM_TPU、Dify、火山引擎(豆包)。这些模型既可以在本地运行,也可以通过云端服务提供支持。当然,为了让对话照进现实,还结合了多模态模型,包括 Gemini、glm-4v 的图像识别能力,获取电脑画面进行分析讲解。

Luna AI 的外观由 Live2D、Vtube Studio、xuniren、UE5 结合 Audio2Face、EasyAIVtuber、数字人视频播放器(Easy-Wav2Lip、Sadtalker、GeneFace++、MuseTalk、AniTalker、本地视频)、metahuman-stream(ernerf、musetalk、wav2lip)、DH_live、live2d-TTS-LLM-GPT-SoVITS-Vtuber 技术打造,为用户提供了一个生动、互动的虚拟形象。这使得 Luna AI 能够在各大直播平台,如 Bilibili、抖音、快手、微信视频号、拼多多、1688、斗鱼、YouTube、Twitch 和 TikTok,进行实时互动直播。当然,它也可以在本地环境中与您进行个性化对话。

为了使交流更加自然,Luna AI 使用了先进的自然语言处理技术,结合文本转语音系统,如 Edge-TTS、VITS-Fast、elevenlabs、bark-gui、VALL-E-X、睿声AI、OpenVoice、GPT_SoVITS、clone-voice、Azure TTS、fish-speech、ChatTTS、CosyVoice。这不仅让它能够生成流畅的回答,还可以通过 so-vits-svc 和 DDSP-SVC 实现声音的变化,以适应不同的场景和角色。

此外,Luna AI 还能够通过特定指令与 Stable Diffusion 协作,展示画作。用户还可以自定义文案,让 Luna AI 循环播放,以满足不同场合的需求。

本项目完全免费,如有发现一模一样的套壳售卖程序,皆为盗版,请及时止损

▶︎ 视频教程合集 | 📄 在线文档 | 🍉 GitHub | 🍓 Gitee | 🐧 AI交流Q群

思维导图

💡 提问的智慧

提交issues前请先阅读以下内容

https://lug.ustc.edu.cn/wiki/doc/smart-questions

🀅 开发&项目相关

可以使用 GitHub Codespaces 进行在线开发:

简易流程图

image image

License

FOSSA Status 

⭐️ Star 经历

Star History Chart

🤝 贡献

🎉 鸣谢

感谢以下开发者对该项目做出的贡献:

💸 投资方

image

🌏 合作伙伴

睿声AI:reecho.ai ———— 瞬时创建 超级拟真的 人工智能克隆语音

AIHubMix: aihubmix.com ———— OpenAI,Google,通义千问等大语言模型API代理站

​迅雷加速器:jsq.xunlei.com 新用户可以凭口令领取7x24小时的免费福利加速。兑换码 口令:ikaros

🙌 赞助

🕳️ 黑名单

用户信息 名人名言
QQ:750359376 笑死,连点开源精神都没有
QQ:378198682 【散播谣言】
QQ:1939834860 【广告哥】
QQ:1687246688 【白嫖还嘴臭】