YuE2：先写可编辑乐谱，再生成带人声的歌曲

YuE2 是一个开源音乐生成模型，作者来自 M-A-P（Multimodal Art Projection）、香港科技大学、斯坦福大学等机构。给它歌词和风格描述，它先写出一份带旋律和和弦的乐谱，再渲染成带人声与伴奏的歌曲。GitHub 仓库 multimodal-art-projection/YuE 创建于 2025 年 1 月，现在主推的是 YuE2；截至 2026 年 10 月 19 日，仓库有 12,278 颗星。公众号「逛逛 GitHub」最近推荐过它。

图中最关键的是左上角的 ABC 乐谱。它是音频生成之前的一层符号表示，人可以读、可以改，智能体也可以改，然后才进入声学生成。

核心功能

• 先出乐谱，再出声音：默认模式（cot="full"）先生成带旋律和和弦的乐谱。可以用 abc=... 传入自己的乐谱，也可以导出 score.abc，改完后重新渲染。
• 翻唱：先用 SheetSage2 把录音转写成旋律乐谱，再给出新歌词和新风格。README 建议翻唱时用 cot="melody"，并且乐谱里不带和弦符号，让伴奏能跟着新风格变化。
• 对话式编辑：README 的示例把《The Last Train》分 9 步、改成 14 个版本，从普通话流行改到英文爵士，中间加入了新的和声和萨克斯独奏。每个版本都能听，也能看到对话、乐谱和歌词。
• 两段式生成结构：一个 AR–NAR 混合 Transformer 先自回归地预测乐谱和语义 token，再用 flow matching 生成声学潜变量，最后由 VAE 解码成 48 kHz 立体声。
• 配套工具：SheetSage2 负责音频转乐谱，MERT2 提供音乐表征。仓库里的 skills/yue2-music 是给智能体用的技能，覆盖生成歌曲与纯音乐、翻唱和 ABC 乐谱编辑。

典型使用场景

• 手里有歌词、想先看旋律的创作者：生成前就能看到乐谱，觉得和弦不合适，可以先改和声再渲染。
• 想改编老歌或录音的人：保留原来的旋律，换成另一种风格。README 的示例里，中文流行被改成了英文爵士。
• 做音乐研究或评测的人：仓库给出了 WildSongBench 的评测入口和 SheetSage2 的论文，可以拿作者的数字去对照复现。
• 想把成品发到流媒体平台的创作者：YouTube Music 从 10 月 14 日起给 AI 生成或改写的歌曲加上“Made with AI”标签，发布前先看平台规则。详见 YouTube Music 的 AI 标签。

性能数据

YuE2 的数字来自作者在 WildSongBench 上的自动评测，共 192 条提示，测试日期是 2026 年 9 月 12 日。下表摘自 README，我们没有独立复现。

系统 / 设置	SongBench Avg ↑	AudioBox PQ ↑	MuLan ↑	PER ↓
YuE2（best-of-8）	6.9632	8.2714	0.5051	9.79%
Suno v5	6.8721	8.1698	0.5428	8.10%
YuE2（标准）	6.7316	8.2598	0.5068	8.44%
Suno v5.5	6.7150	8.1955	0.5089	5.96%
Suno v6	6.5562	8.1296	0.4916	7.58%
YuE 1	4.9165	7.8683	0.2623	36.38%

标准 YuE2 从 2 个候选中选结果，best-of-8 从 8 个候选中选。作者自己也说，前几名之间的差距不足以判断统计显著性。在翻唱上，README 报告在 948 首作品上，带乐谱时 CLEWS mAP 为 0.647，不带乐谱时只有 0.006。

快速上手

YuE2 的安装和首次运行命令都在仓库 README 里，下面是原样复制的版本：

git clone https://github.com/multimodal-art-projection/YuE.git
cd YuE
python3.12 -m venv .venv
source .venv/bin/activate
python -m pip install --upgrade pip
python -m pip install .
python examples/generate.py --output outputs/first-song

我们没有在符合这些条件的机器上实际运行过这些命令。README 写明的运行条件是 Linux、Python 3.12，以及支持 BF16 的 NVIDIA GPU，显存 24 GB。模型文件在首次运行时从 Hugging Face 下载。成功后，outputs/first-song/audio.flac 就是生成的歌曲，同一目录还保存乐谱、语义 token、声学潜变量和生成参数。

小结

YuE2 适合有 Linux 环境和大显存 NVIDIA 显卡、想让乐谱参与创作的人，也适合做翻唱和音乐研究的人。它不适合想直接在 Mac 或 Windows 上运行的人，因为 README 没有列出这两个平台。公众号文章作者称在 M1 Pro 笔记本上生成过约 20 秒的音频，但那不在官方支持范围内。

许可证要分开看。代码、文档和智能体技能是 Apache-2.0。模型权重是 CC BY-NC 4.0，但附加的创作者许可允许个人创作者和音乐人免费使用权重，并可以销售或授权生成的作品，不需要向作者支付费用，但要遵守负责任使用条款。企业商用需要联系作者申请商业许可。

另外两点需要注意。性能数字是作者自报的，我们没有复现。搜索 YuE2 时还会看到几个名字相近、README 没有列出的第三方站点和仓库，本文只以官方仓库、README 和 Hugging Face 模型页为准。仓库最近一次推送是 2026 年 10 月 6 日，语言为 Python。