SkeLAM 用骨架监督分离机器人运动与场景变化,提升世界模型可控性。
资讯摘要
论文提出 SkeLAM,一种骨架引导的潜在动作模型,用于可控机器人世界建模。该方法将潜在动作分解为由机器人骨架监督约束的运动学分量和保留其余视觉动态的残差分量,并通过跨模态交换重建让 RGB 与骨架来源的运动学表示可互换;世界模型以独立条件通路接入两个分量,并用分支 dropout 降低对来自未来的残差信息的依赖。作者报告在 DROID 上相比 DreamDojo,末端执行器 ADE 降低 19.5%、LPIPS 降低 11.1%,并展示零样本人到机器人动作迁移。
要点速读
- SkeLAM 将潜在动作拆为骨架监督的运动学分量与残差分量,分别通过独立条件通路进入世界模型。
- 跨模态交换重建促使 RGB 与骨架推导的运动学表示在视频重建中可互换,分支 dropout 减少对来自未来的残差信息依赖。
- 作者报告在 DROID 上相比 DreamDojo,末端执行器 ADE 降低 19.5%、LPIPS 降低 11.1%,并给出零样本人到机器人动作迁移的定性结果。
中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/24 08:00:35(北京时间)。