论文用三阶段训练让视频DiT真正利用MLLM潜变量。
资讯摘要
论文提出Factor-Aware Predictive Learning（FAPL），将有效利用MLLM潜变量作为共同前提，再以互补学习信号实现角色、场景、动作与镜头的因子感知控制及稀疏输入下的时序推断。方法包含三阶段：冻结MLLM与连接器训练DiT的潜变量接地；用配对视频与因子跨度替换训练因子控制；冻结DiT反向优化MLLM以支持有限输入预测。作者报告在稀疏到视频、因子感知编辑和多镜头生成三项任务上优于基线。
要点速读
- 论文指出视频DiT可能通过原生条件通路绕过MLLM表征，使用MLLM潜变量并不自动带来因子控制或生成兼容的时序预测。
- FAPL分三阶段：潜变量接地训练、基于配对视频与因子跨度替换的因子控制训练、冻结DiT后经其优化MLLM与连接器。
- 作者报告在稀疏到视频、因子感知编辑、多镜头生成三项任务上均优于基线，并验证各阶段对MLLM特征利用的贡献。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/24 08:00:35（北京时间）。