earshot：给编程智能体装上耳朵

AI 编程智能体现在能写代码渲染出一支影片、一个产品演示甚至一个游戏，但它听不见自己做出来的东西：分不清高级键位声和廉价键位声，察觉不到音效比画面慢了 80 毫秒，也不知道配乐在错误的地方推起来。earshot 是 Leon Lin 开源的 Python 工具（MIT 协议，截至 2026-10-24 有 2,515 颗星），把声音变成智能体能推理的证据：一段录音听起来像什么、和描述匹配几分、长录音里最佳时刻在哪、是真实录音还是代码合成，外加整支影片逐秒的「听写稿」和专业宣传片对标评分。它纯 CPU 本地运行，提供 CLI、Python API 和 MCP server 三种接法。

核心功能

• 听和评：describe 输出带校准分数的声音描述，match 判断一段音频与描述的匹配档位（strong / plausible / weak / no match），find 在长录音里定位最佳片段并给出裁剪点。官方自测：在 125 条真实录音的保留库上，strong 判定 98% 是同类声音，61% 精确命中变体。
• 真伪鉴别：realness 区分真实录音与代码合成，保留集上 ROC-AUC 0.92；约五分之一的片段会标「不确定」，README 明说这个模型可以被高明的合成骗过。
• 影片听写与评分：timeline 生成整支影片的事件级听写稿（时间、响度、标签、与画面剪辑点的同步），sheet 产出一带标注的 PNG 给看图的智能体，critique 对照 7 支专业宣传片给出带时间戳的整改清单。60-90 秒影片在笔记本 CPU 上约 1.5 分钟。
• earshot forge：智能体用代码写声音——模态谐振器、滤波噪声、房间混响的物理合成配方——forge 渲染候选、按描述匹配和与真实参考的差距打分，进化搜索迭代。发布片里每个声音都这么来的。
• 252 个声音的银行：0.4 版新增 51 个音乐宣传片风格的音效（UI 泡泡、木塑敲击、带鼓点的切点重音、 gating 电颤琴、水滴、快门），按 id 渲染、无模型无网络，launch 预设按音乐床定位每个音效相对剪辑点的位置。
• earshot fit：把一段录音翻译回代码——拟合出参数化的合成模型，输出可复渲染、可变调、可在两段录音之间变形的配方模块。
• MCP server：一条 claude mcp add 把这些工具接给 Claude Code，模型常驻内存（CLI 每次冷启动要 20-40 秒加载模型）。

典型使用场景

• 给代码生成的影片配声音：video-use 那类工具解决了「剪」，earshot 补上「听」——渲染完自查音画同步、按 scorecard 改、再从声音银行里挑音效。
• 音效素材库检索：几百个下载的音效按一句描述排序，挑最像的那个。
• 品牌音频质检：按自己积累的参考片建 profile，新片子对着自家的标准打分。

快速上手

README 的安装要求 Python 3.10+ 和 PATH 里的 ffmpeg，纯 CPU，不碰 GPU：

git clone https://github.com/Leonxlnx/earshot && cd earshot
python -m venv .venv
.venv/bin/python -m pip install torch --index-url https://download.pytorch.org/whl/cpu   # Windows: .venv/Scripts/python
.venv/bin/python -m pip install -e ".[mcp,llm,dev]"
.venv/bin/python -m earshot doctor --load

首次使用会下载两个开源模型（约 1.1 GB，CLAP 加 AudioSet 标注器），之后只从本地缓存读、可完全离线。装完跑 earshot describe enter.ogg 就能看到第一条声音描述。

小结

earshot 适合用编码智能体产出视频、动画或游戏、又在意声音质量的人，以及想把「听」变成质检环节的内容流水线。它不适合实时或低延迟场景。

几个要提前知道的限制。第一，纯 CPU 意味着慢：每次 CLI 调用是独立进程，模型加载要 20-40 秒，批量干活得用 MCP server 或 Python API 才能常驻；60-90 秒影片的 timeline 也要约 1.5 分钟。第二，项目极新：仓库创建于 2026-10-15，0.4.0 发布于 2026-10-22，成立九天就有两千五百星，社区验证还谈不上；盲测只有一名听者、十几次试验，README 自己写明「a small test, not a proof」。第三，它听不懂语音内容，不判品味和情绪，也不能替你确认素材授权；forge 的参考录音有独立许可、不随仓库分发，--refset 要自备。第四，可选的 llm critique 走 Gemini，需要你自己的 key 和显式上传同意。仓库未归档，最近一次推送是 2026-10-22。我们核对了 README、CHANGELOG 与发布页，没有安装运行。