SkeLAM 零样本跨形态迁移

SkeLAM 是一个骨架监督的潜在动作世界模型，出自哈尔滨工业大学（深圳）、新加坡国立大学 Show Lab 与平安科技的六人团队，论文 2026 年 10 月 22 日提交 arXiv（2610.31474，cs.RO）。它从官方 Cosmos-Predict2.5-2B 视频世界模型的预训练权重出发，用约 10 小时机器人交互数据训练（项目页口径），没有像最强基线 DreamDojo 那样做额外的大规模交互预训练，在 DROID 基准 8 项指标里拿下 7 项第一，还能把一段 UniSkill 人手演示视频直接变成机械臂的后续画面，迁移阶段一个参数都不改。机器之心 10 月 27 日的中文技术解读目前是中文圈对这篇论文的主要报道。

要点

对最强基线 DreamDojo，SkeLAM 把末端轨迹误差（ADE）从 51.11 像素降到 41.15 像素（−19.5%），LPIPS 从 0.1473 降到 0.1310（−11.1%），四个视觉保真指标全部领先。
唯一失守的方向准确率（direction F1）0.5465，低于 Ctrl-World 的 0.5888 和 OSCAR 的 0.5810，这组对比数字项目页自己列出。
零样本迁移只有定性证据：两组 UniSkill 人手演示示例（推毛巾向下、抽纸向上），项目页写明这些例子「不构成任务完成或广泛迁移性能的证据」，论文的评估是「两个示例考察的是可见的运动对应关系，而非任务完成或跨任意视角与形态的可靠迁移」。

背景

潜在动作模型（latent action model）从无标注视频里学动力学：把相邻两帧的画面变化编码成「代理动作」，世界模型据此预测下一步，不依赖机器人真值动作标注。代价是隐向量里混着两类东西——机器人自己的运动，以及物体被带动、布料变形之类的场景响应——动作条件因此对不上真实控制量。骨架监督这条线此前有 OSCAR 走过，SkeLAM 的骨架数据也直接沿用 OSCAR 的预处理管线。

数据效率是今年秋天机器人学习多条路线的共同主题。杨立昆署名的 H-JEPA 论文 10 月 5 日提交 arXiv，同样从视频学世界模型，把 Visual AntMaze 成功率从 18% 提到 73%；更早的 RoboColiseum 四模型横评和 R²SI 登顶 RoboDojo都在量「模型离真机执行还有多远」。SkeLAM 压的是另一个变量：训练一个可用的动作条件世界模型，到底需要多少机器人数据。

方法拆解

SkeLAM 把每段视频过渡的隐动作拆成两个 32 维向量：运动分量由机器人骨架监督，残差分量装剩下的视觉动态。骨架信号沿用 OSCAR 的做法，用预渲染的骨架图做监督信号。

三个机制把骨架和画面绑在一起。跨模态交换重建把 RGB 运动分量换成配对骨架隐向量的后验均值，保留残差，要求同一个解码器重建出同一帧下一画面，骨架分支冻结、梯度只走残差。分支丢弃（branch dropout）针对的问题是残差用到了部署时拿不到的未来帧：训练时按整条分支随机丢运动或残差输入，四种组合各占一定概率，让模型学会只用当前帧加运动分量做预测，推理时残差输入直接置零。最后是一个轻量 MLP 适配器（7→256→256→32），把 7 维机器人状态增量映射进运动隐空间：先用 2K 步只训适配器、世界模型固定，再接着做 30K 步动作条件生成微调，论文写明这一步微调的是完整的世界模型骨干（Table 5 列 Full DiT 为 trainable），全程冻结的是 RGB 编码器。

成绩与短板

论文主表在 DROID 上对 11 个基线跑 400 段测试视频（1 帧观测加 12 帧预测，480×640），报 8 个指标：PSNR、SSIM、LPIPS、MSE 四项视觉保真，加 ADE、方向 F1、幅度 L1、幅度相关四项运动指标，SkeLAM 在 7 项上排第一。主要方法对比如下（全表见项目页）：

方法	控制方式	PSNR↑	SSIM↑	LPIPS↓	ADE↓（px）	方向 F1↑
TesserAct	文本参考	15.08	0.7400	0.2561	83.76	0.2950
IRASim	动作嵌入	11.55	0.4137	0.5993	67.11	0.2616
Ctrl-World	动作嵌入	16.34	0.5910	0.4029	42.96	0.5888
Cosmos3	动作嵌入	16.98	0.7630	0.2186	67.23	0.3278
OSCAR	骨架	12.57	0.4471	0.4788	43.74	0.5810
DreamDojo†	机器人动作	18.91	0.8057	0.1473	51.11	0.4989
CD-LAM†	动作转隐变量	18.34	0.7910	0.1586	53.90	0.4903
SkeLAM	动作转运动隐变量	19.35	0.8340	0.1310	41.15	0.5465

表里的 † 是论文对「做过大规模交互预训练」的标记，DreamDojo 和 CD-LAM 带这个记号，SkeLAM 没带。对比最强基线 DreamDojo 时，SkeLAM 用更少的机器人数据拿下了更高的视觉保真和更低的轨迹误差。

方向 F1 是 8 项里唯一没拿下的：0.5465，低于 Ctrl-World 的 0.5888 和 OSCAR 的 0.5810。OSCAR 同样用骨架做输入，这个对比提示骨架信号的用法还有分歧空间。

世界模型之外，论文还测了「用 SkeLAM 给策略打分」：7 个策略、15 场 RoboArena、105 个回合（9 次真机成功、96 次失败），预测成功率的平衡准确率 63.02%，成功召回率 33.33%，成功率平均绝对误差从 Cosmos-Predict2.5 基线的 7.62 个百分点降到 4.76 个百分点。这一节跑的是录制动作回放，论文写明闭环策略评估是未来工作。

零样本跨形态迁移

迁移实验用 UniSkill 的人手演示视频。所有参数冻结，RGB 编码器从人手视频里抽出隐动作序列，绕过动作适配器直接喂给世界模型，从机器人自己的初始观测出发生成后续画面。论文给了两组示例：人手把毛巾向下推，生成的机械臂向下够；人手向上抽纸巾，机械臂向上动。对照的 DreamDojo 在两个例子里末端位移都很小。

对这两组示例，论文的评估是「人导出的隐动作能引导机器人运动，尽管形态与场景外观不同」——这是定性证据；附录写得更直白：「两个示例考察的是可见的运动对应关系，而非任务完成或跨任意视角与形态的可靠迁移」。项目页的版本是这些例子「不构成任务完成或广泛迁移性能的证据」。没有成功率数字，也没有多视角或更多本体的测试；「局部夹爪误差」那句提醒出现在世界模型定性结果一节（Fig. 3 讨论），本轮迁移示例没有附带这类说明。

编辑判断

对被数据量卡住的机器人团队，这篇论文的说服力在「约 10 小时数据、从官方 Cosmos-Predict2.5-2B 权重出发、没有额外大规模交互预训练」这个组合拿下了视觉保真和轨迹误差的主榜，骨架监督把「动作」钉在机器人自己的运动学上，做动作条件世界模型的团队可以把骨架监督和分支丢弃当配方借鉴。训练本身分三段走：先训隐动作编码，再训适配器（世界模型固定），最后 30K 步全骨干微调——骨干并没有冻结，冻结的是 RGB 编码器。跳过去看的理由也有三条：代码没有发布，项目页只挂论文、视频和 BibTeX；零样本迁移只有两组定性示例；「约 10 小时」是项目页口径，论文正文按视频段数计（第一阶段 60,000 段、后续每阶段 45,358 段），两种口径的换算论文没写。想直接上手，目前只能等作者放代码。

两条引用边界：机器之心 10 月 27 日解读的团队介绍写的是「来自哈尔滨工业大学（深圳）、新加坡国立大学 Show Lab 等机构」，作者简介另提到 Yuxin Jiang 是新国大与 A*STAR 博士生；平安科技两位署名作者（Jianzong Wang，以及同时在哈工大（深圳）与平安科技挂名的 Jiayi Lin）只在论文与项目页出现。中文圈可见报道以机器之心这篇为主，搜狐、新浪财经当日转载同稿，无独立英文报道。本条数字已与论文 HTML 版、项目页全表和机器之心解读逐项核对。