DreamX 用视频扩散模型学出跨具身的共享潜在动作空间。
资讯摘要
论文提出 DreamX，将预训练视频扩散模型改造为通用潜在动作学习器，从模型时空特征中提取紧凑潜在动作，每帧压缩约 300 倍（1200 个 token 降至 4 个）。作者称借助生成先验，这些潜在动作能剥离视觉外观、保留动作相关动态，形成跨人类与机器人、跨环境与动作参数化的共享动作接口。在 LARY-Bench 上，作者报告其达到潜在动作模型中的最优表现，并支持任意到任意的视频迁移与零样本动作迁移。
要点速读
- DreamX 复用预训练视频扩散模型提取潜在动作，每帧由 1200 个 token 压缩至 4 个。
- 作者称潜在动作与视觉外观解耦，可作为人类与机器人等不同具身之间的共享动作接口。
- 论文报告在 LARY-Bench 上取得潜在动作模型中的最优表现，并支持零样本跨具身动作迁移。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/5 08:00:38（北京时间）。