智能体框架#文本转语音#代码智能体

Qwen-Audio-Agent:给编码 Agent 装上耳朵和嘴巴的实时语音前台

阿里开源 Qwen-Audio-Agent:全双工语音前台,可自然打断;后端经 ACP 接 OpenCode、Codex 等 Agent,结果实时回到对话。

项目资料

GitHub Ecosystem
仓库地址github.com/QwenAudio/qwen-audio-agent
许可证
Apache-2.0
主语言
JavaScript
星标
3,241
核查时间
2026-11-17

以上快照资料以核查当日为准,可能随版本或运营策略变化。

大多数编码 Agent 的交互还是”发一条提示、等它干完”。等待期间你想补一句、改个方向,往往要等这一轮结束。Qwen-Audio-Agent 想解决的就是这段空白:它把编码 Agent 包进一个全双工实时语音前台,对话可以持续、可以自然打断,后台任务照常推进,完成后结果直接回到当前对话里。仓库为 Apache-2.0,2026 年 7 月开源,11 月 10 日发布 v2.1.0。GitHub API 在 2026 年 11 月 17 日显示 3,241 颗星。

核心功能

  • 全双工语音:支持连续多轮对话与自然打断,不需要等 Agent 说完一句再开口;前台与后台任务并行,随时可以问进度或取消。
  • 语音前台可替换:云端可选 Qwen Audio 3.0/3.1 Realtime(默认 3.1 Realtime Plus)、OpenAI Realtime、Google Gemini Live、Qwen3.5-Omni、豆包 Seeduplex 3.0、StepAudio 3 等;本地可选 Hugging Face speech-to-speech(VAD/STT/LLM/TTS 全本地)与 MiniCPM-o 4.5。
  • 后端 Agent 走 ACP:原生支持 Qwen Code、OpenCode、OpenClaw、Qoder、MiniMax Code、Kimi Code、Hermes、CodeBuddy;Codex 需要外接 ACP 适配器;不接后端时为纯前台模式。
  • 三种用法:命令行 Gateway + TUI、浏览器 WebUI,或带常驻悬浮语音球的桌面应用(内置 Gateway、空闲休眠、本地语音唤醒)。
  • 可扩展:Gateway 与 Realtime Provider 可嵌入自定义系统,提供自定义 voice frontend 接口,不改变核心语音会话与后台任务逻辑。

典型使用场景

  • 长时间编码任务的口头协作:让 Agent 在后台跑重构或调试,你随时插话追加约束;任务完成后它会主动说”好了”。
  • 多 Agent 语音调度:前端只负责听与说,后端可切换不同 ACP Agent,适合同时管理多个编码助手的开发者。
  • 本地优先的语音输入:用 Hugging Face speech-to-speech 或 MiniCPM-o 让语音链路完全留在本机,适合对隐私敏感的环境。与谷歌端侧语音这类平台方案相比,它把”语音”与”Agent 执行”接在了一起。

快速上手

需要 Node.js 22.22.2+ 或 24.15.0+、npm 10+。README 推荐的一键安装是:

npm install -g qwen-audio-agent
qwenaudio config   # 填写 QWEN_AUDIO_REALTIME_API_KEY 等
qwenaudio          # 终端 1:Gateway
qwenaudio tui      # 终端 2:TUI(或 qwenaudio webui 用浏览器)

配置文件里 AGENT_PROTOCOL 指定后端(如 openclaw),留空或设为 none 则是纯前台模式;后端自己的凭据仍由对应 Agent 管理。云端语音前台需要百炼 API Key,额度和计费以官方页面为准。桌面应用可从 Releases 下载安装包。

小结

把语音做成 Agent 的”前台”而不是独立产品,是 Qwen-Audio-Agent 最有意思的设计:语音只负责对话的连续性,执行留给 ACP 后端。它仍在快速迭代(两个月从 v0.9 到 v2.1),文档与集成评级也说明部分后端”尚未完全验证”。GitHub API 在 2026 年 11 月 17 日报告:JavaScript、Apache-2.0、3,241 颗星、未归档,最近推送 2026 年 11 月 16 日。

本条目基于 README 与官方文档整理,未安装或实际通话测试;语音延迟、打断体验与各后端的可用性,建议按自己的设备与 API 额度实测。对纯语音合成能力本身感兴趣的读者,可对照 Ming 3.0 全栈音频。