LiveTalking:能实时对话的流式数字人直播引擎
LiveTalking 是 lipku 开源的实时流式数字人引擎:音视频同步、可打断、多并发,WebRTC 低延迟输出,Apache-2.0 可商用。
项目资料
GitHub Ecosystem- 许可证
- Apache-2.0
- 主语言
- Python
- 星标
- 9,728
- 核查时间
- 2026-10-06
以上快照资料以核查当日为准,可能随版本或运营策略变化。
无人直播、数字人客服这类场景,形象逼真只是及格线,真正的门槛是响应够快:观众一句话进来,数字人得当场接住。lipku 的 LiveTalking 是一个实时交互流式数字人引擎,音视频同步对话,README 自述”已在业内获得广泛商用”。它 2023 年 12 月起持续更新,最近一次提交在 2026 年 9 月 13 日——修了一个实打实的问题:断开的会话之前只是从字典里删掉引用,渲染、推理、TTS 线程仍在空转,每个泄漏会话白吃约 3 个 CPU 核心。视频号「左手AI」9 月底称它”真正能实现的数字人直播引擎”,指的就是这套实时链路。
核心功能
- 多模型可换:同一套框架支持 ernerf、musetalk、wav2lip、Ultralight-Digital-Human 四种数字人模型,按画质和算力挑。
- 实时可打断:数字人说话时用户能插话重说,走
flush_talk清空待播内容,不是播完才理你。 - 三种输出方式:WebRTC 低延迟实时交互、RTMP 推流进直播间(可转推 B 站、YouTube 等平台)、虚拟摄像头喂给 OBS。
- 动作编排:不说话的空闲时段播放自定义视频,直播画面不会僵住。
- 多并发与自定义形象:支持多路会话同时跑,形象可以换成自己的素材,每个连接分配独立
sessionid。 - LLM 与 TTS 可插:LLM 引擎支持 DashScope、OrcaRouter 等多家 OpenAI 兼容后端,TTS 侧支持 EdgeTTS、GPT-SoVITS、CosyVoice 等多种方案与声音克隆;插件系统基于
registry.py去中心化注册,开发者可自行扩展 TTS、形象与输出模块。
典型使用场景
- 24 小时无人直播:LLM 生成话术、数字人实时开口,配合动作编排撑住直播间。
- 企业知识库客服:用户语音提问,数字人实时回答,答错可打断重说。
- 在线教育与大屏讲解:课程录课用 API 批量生成,展厅大屏用
/human接口做互动讲解。
性能数据
README 给出的实时推理性能(单路会话,以显卡区分):
| 模型 | 显卡 | FPS |
|---|---|---|
| wav2lip256 | RTX 3060 | 60 |
| wav2lip256 | RTX 3080Ti | 120 |
| musetalk | RTX 3080Ti | 42 |
| musetalk | RTX 4090 | 72 |
数据来自项目 README 的「性能指标」一节(未注明测试日期)。后端日志里 inferfps(GPU 推理帧率)与 finalfps(最终推流帧率)需同时达到 25 以上才算实时;不说话时的并发数取决于 CPU,同时说话的并发数取决于 GPU——这也是选显卡时该看的两个数。
快速上手
git clone https://github.com/lipku/LiveTalking.git
conda create -n livetalking python=3.12
conda activate livetalking
pip install torch==2.9.1 torchvision==0.24.1 torchaudio==2.9.1 --index-url https://download.pytorch.org/whl/cu128
pip install -r requirements.txt
python app.py
README 注明已在 Ubuntu 22.04、Python 3.12、PyTorch 2.9.1、CUDA 12.8 测试通过;数字人模型权重需按文档单独下载。服务跑起来后,/human 接口接文本(支持直接复读或接 LLM 对话两种模式)、/humanaudio 接口直接播放音频文件,每个连接各自分配一个 sessionid 以支持多用户并发;另有 Admin API 做全局配置、会话监控与强制停止,方便接入已有的运营后台。
小结
LiveTalking 适合要实时交互的直播和客服场景;只做离线成片、不需要低延迟的话,LongCat-Video-Avatar 1.5 这类离线模型出片质量更好。Apache-2.0 协议,Python 编写,截至 2026-10-06 约 9.7k 星。四点留意:环境偏重,CUDA 版本要对齐;口型质量取决于所选模型,wav2lip 快但糙、musetalk 细但吃算力;README 明确要求,用它生成并发布到 B 站、视频号、抖音等平台的视频要带上 LiveTalking 的水印和标识,商用发布前先确认这条;官方另有面向高性能交付的商用付费版(在开源版三模型基础上新增 wav2lipls 及自适应动作、实时语音互动等能力),开源版本身遇到问题主要靠 issue,没有 SLA。