TAPESTRY 把预训练视频扩散模型直接复用为机器人策略，推理时无需生成视频。
资讯摘要
论文提出 TAPESTRY，将预训练视频扩散 Transformer 复用为机器人策略，把每个动作时间步视为视频模型潜空间中的单 patch token，经轻量线性投影映射到预训练 VAE 的 patch 维度，由与视频相同的 patchify 层和 Transformer 骨干处理。训练按小批量元素采样三种扩散目标：视频扩散、联合视频+动作扩散、仅动作扩散。测试时单步 DDIM 从纯噪声生成动作 token 序列，作者报告在消费级硬件上每动作块耗时 84 ms，并在仿真基准与真实机器人实验中表现良好、推理成本低于同类联合视频-动作策略。
要点速读
- 将动作时间步编码为视频模型潜空间中的单 patch token，复用预训练 VAE 与 Transformer 骨干，无需在推理时生成视频。
- 训练混合三种扩散目标：视频扩散建立动力学先验、联合视频+动作扩散、以干净图像潜变量为条件的仅动作扩散。
- 作者报告测试时单步 DDIM 生成动作块，消费级硬件上每块 84 ms，仿真与真机实验表现良好且推理成本更低。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/29 08:00:21（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。