Qwen-Audio-Agent:给编码 Agent 装上耳朵和嘴巴的实时语音前台
阿里开源 Qwen-Audio-Agent:全双工语音前台,可自然打断;后端经 ACP 接 OpenCode、Codex 等 Agent,结果实时回到对话。
项目资料
GitHub Ecosystem- 许可证
- Apache-2.0
- 主语言
- JavaScript
- 星标
- 3,241
- 核查时间
- 2026-11-17
以上快照资料以核查当日为准,可能随版本或运营策略变化。
大多数编码 Agent 的交互还是”发一条提示、等它干完”。等待期间你想补一句、改个方向,往往要等这一轮结束。Qwen-Audio-Agent 想解决的就是这段空白:它把编码 Agent 包进一个全双工实时语音前台,对话可以持续、可以自然打断,后台任务照常推进,完成后结果直接回到当前对话里。仓库为 Apache-2.0,2026 年 7 月开源,11 月 10 日发布 v2.1.0。GitHub API 在 2026 年 11 月 17 日显示 3,241 颗星。
核心功能
- 全双工语音:支持连续多轮对话与自然打断,不需要等 Agent 说完一句再开口;前台与后台任务并行,随时可以问进度或取消。
- 语音前台可替换:云端可选 Qwen Audio 3.0/3.1 Realtime(默认 3.1 Realtime Plus)、OpenAI Realtime、Google Gemini Live、Qwen3.5-Omni、豆包 Seeduplex 3.0、StepAudio 3 等;本地可选 Hugging Face speech-to-speech(VAD/STT/LLM/TTS 全本地)与 MiniCPM-o 4.5。
- 后端 Agent 走 ACP:原生支持 Qwen Code、OpenCode、OpenClaw、Qoder、MiniMax Code、Kimi Code、Hermes、CodeBuddy;Codex 需要外接 ACP 适配器;不接后端时为纯前台模式。
- 三种用法:命令行 Gateway + TUI、浏览器 WebUI,或带常驻悬浮语音球的桌面应用(内置 Gateway、空闲休眠、本地语音唤醒)。
- 可扩展:Gateway 与 Realtime Provider 可嵌入自定义系统,提供自定义 voice frontend 接口,不改变核心语音会话与后台任务逻辑。
典型使用场景
- 长时间编码任务的口头协作:让 Agent 在后台跑重构或调试,你随时插话追加约束;任务完成后它会主动说”好了”。
- 多 Agent 语音调度:前端只负责听与说,后端可切换不同 ACP Agent,适合同时管理多个编码助手的开发者。
- 本地优先的语音输入:用 Hugging Face speech-to-speech 或 MiniCPM-o 让语音链路完全留在本机,适合对隐私敏感的环境。与谷歌端侧语音这类平台方案相比,它把”语音”与”Agent 执行”接在了一起。
快速上手
需要 Node.js 22.22.2+ 或 24.15.0+、npm 10+。README 推荐的一键安装是:
npm install -g qwen-audio-agent
qwenaudio config # 填写 QWEN_AUDIO_REALTIME_API_KEY 等
qwenaudio # 终端 1:Gateway
qwenaudio tui # 终端 2:TUI(或 qwenaudio webui 用浏览器)
配置文件里 AGENT_PROTOCOL 指定后端(如 openclaw),留空或设为 none 则是纯前台模式;后端自己的凭据仍由对应 Agent 管理。云端语音前台需要百炼 API Key,额度和计费以官方页面为准。桌面应用可从 Releases 下载安装包。
小结
把语音做成 Agent 的”前台”而不是独立产品,是 Qwen-Audio-Agent 最有意思的设计:语音只负责对话的连续性,执行留给 ACP 后端。它仍在快速迭代(两个月从 v0.9 到 v2.1),文档与集成评级也说明部分后端”尚未完全验证”。GitHub API 在 2026 年 11 月 17 日报告:JavaScript、Apache-2.0、3,241 颗星、未归档,最近推送 2026 年 11 月 16 日。
本条目基于 README 与官方文档整理,未安装或实际通话测试;语音延迟、打断体验与各后端的可用性,建议按自己的设备与 API 额度实测。对纯语音合成能力本身感兴趣的读者,可对照 Ming 3.0 全栈音频。