杨立昆在首尔押注世界模型:H-JEPA 论文把 AntMaze 成功率从 18% 提到 73%
杨立昆 10 月 12 日在首尔称,AI 的下一步突破来自世界模型而非更大的 LLM;H-JEPA 论文把 AntMaze 成功率从 18% 提到 73%。

2018 年图灵奖得主、AMI Labs 创始人兼董事长杨立昆(Yann LeCun)10 月 12 日在首尔出席 Aitomatic 与 IIAC 2026 委员会主办的产业 AI 座谈会。他说,AI 的下一阶段突破将来自能理解、预测并作用于物理世界的系统,而不是更大的 LLM——LLM 缺少「对物理世界因果的可靠理解」。这句话背后有可以核对的东西:他署名的 H-JEPA 论文 10 月 5 日提交 arXiv(编号 2610.06805),三层层级规划把 Visual AntMaze 的成功率从 18% 提到 73%,用的规划算力还更少。
要点
- 在首尔座谈会上,杨立昆把世界模型定义为「预测物理世界将如何随某个动作而改变」的系统,认为 LLM 的规模化到不了物理智能(Korea Herald 现场报道)。
- H-JEPA 论文由 Wancong Zhang、Basile Terver、Michael Rabbat、杨立昆、Randall Balestriero 五人署名,10 月 5 日提交 arXiv;摘要写明,三层层级在 Visual AntMaze 上以更少的规划算力把成功率从 18% 提到 73%。
- 对近期韩国金融业遭 AI Agent 攻击引发的失控担忧,他的回应是这是安全工程没做好:部署方缺安全专长、沙箱「四处漏风」,风险可以通过改进系统架构来控制(36氪快讯同日转引新浪财经,口径一致)。
背景
分层 JEPA 不是新想法。钛媒体的拆解说得很直接:2022 年杨立昆就在论文《A Path Towards Autonomous Machine Intelligence》里画出了分层 JEPA 的蓝图,但四年过去,一直没有一个可以复现的完整实现——H-JEPA 是第一个。这延续了他对 LLM 路线的一贯批评:LLM 能过司法考试、能写代码,「但并不能真正处理现实世界的复杂问题」。放在更大的图景里,世界模型阵营这两周动作不断:AMD 先在 9 月 28 日宣布以约 82 亿美元全股票收购李飞飞的 World Labs,如今这份带硬数字的论文又落在 LeCun 名下——路线之争正在变成资本与人才的实流。首尔这场座谈会安排在第五届国际产业 AI 会议(东京)前夕,也不是偶然。
事实部分
H-JEPA 的做法是训练一串「动作条件」的 JEPA:每一层在自己学到的潜空间里向前预测,低层管细粒度、短时间尺度的细节,高层丢掉快变、不可预测的噪声,保留慢变的任务相关状态;规划自上而下进行,高层给出的粗目标就是低层的子目标。消融实验把收益归因于时间尺度分解和高层目标表示(以上出自 arXiv 摘要)。在四个模拟的导航与操作环境里,分层规划都好过单层 JEPA,关键数字是:
| 环境 | 结果 | 出处 |
|---|---|---|
| Visual AntMaze | 单层基线 18%,三层层级 73%,规划器算力更少 | arXiv 摘要 |
| Push-T | 两层最好;三层只能用到单层约 58% 的可迁移训练数据,四层剩约 14% | 钛媒体转述论文正文 |
| DROID 真实机器人视频 | 加逆动力学监督可提升离线规划保真度;没有它会出现「慢特征坍塌」,性能归零 | arXiv 摘要 + 钛媒体转述 |
关于训练信号,钛媒体转述论文正文称其「不用奖励,也不用重建」,完全靠在表示空间里预测下一状态;arXiv 摘要只写明这类 JEPA 世界模型是 task-agnostic,「不用奖励」的细节以论文原文为准。首尔现场的另外几个说法同样具体:他把韩国金融业遭 Agent 攻击定性为网络安全薄弱,原话是「部署这些 Agent 的公司缺乏足够的安全专长,而围绕它们的软件沙箱四处漏风」——沙箱隔离本身是个工业界正在认真处理的工程问题,我们此前报道过阿里云 Agent Sandbox 的做法;未来的目标驱动系统可以在行动前先检查护栏,而攻防之间 AI 更可能帮防守一方。对韩国,他的建议是不必硬拼美国的基础设施支出,而是利用制造与机器人家底,在工厂、船舶、机械上部署 AI,基于开放基础模型去争「物理 AI 与机器人」的领先位置。同场 Aitomatic CEO Christopher Nguyen 补充呼吁韩国「尽早且频繁」地部署产业 AI,并加强安全与治理。
各方说法
这场座谈会本身就近乎世界模型阵营的一次合影:Aitomatic CEO Christopher Nguyen、AI Alliance 联合创始人 Anthony Annunziata(推介多方共建开放模型、保留数据主权的 Project Tapestry)、ASI Foundry 董事长 Jimmy Rhee(称韩国产业数据是战略级「数据井」),韩国国家 AI 战略委员会副主席 Ha Jung-woo 则把竞争重心从模型性能挪到产业生产率。中文圈的解读更尖锐:钛媒体把这篇论文归纳为「反对 Agent,反对 RSI」——今天的 Agent 在同一个粒度上堆更多步数、更多 token,H-JEPA 想靠抽象层级往上长;拆解还提到杨立昆一月在达沃斯说过,无法想象一个不能预先预测自己行动后果的系统成为 Agent。要留意,「反对 Agent」是钛媒体的归纳:首尔现场他并没有否定 Agent,反而替 Agent 的安全失误辩护,说问题在于工程而非技术失控。同一篇拆解还点出一个反差:他的前学生、前 Meta FAIR 研究总监田渊栋联合创办的递归超级智能(RSI)公司今年 5 月已大额融资出街,而 H-JEPA 论文对 RSI 只字未提。
编辑判断
这是 LLM 与世界模型路线之争里少见的带数字的回合。对每天在搭 Agent 系统的开发者,值得听进去的是反面论证:LeCun 阵营认为在 LLM 上叠工具和奖励信号到不了物理世界,而世界模型这一侧第一次有了可复现的基准可以指。诚实的 catch 同样清楚:四个环境全是模拟器,唯一的真实机器人数据(DROID)要靠人工设计的逆动力学监督才不坍塌,Push-T 上层级加深反而变差——H-JEPA 今天是一个研究方向的地基,不是能替换现有 Agent 栈的东西。arXiv 摘要没有提到代码发布,摘要之外的技术细节多来自二手转述;接下来值得盯的是代码会不会放出,以及这套层级结构在真实世界数据上还能不能保住数字。