FrameForge：利用视频基础模型先验统一图像生成

FrameForge 用虚拟时间关系复用视频模型先验做统一图像生成。

资讯摘要

论文提出 FrameForge，将条件图像生成建模为输入自适应的虚拟时间关系，以利用预训练视频基础模型编码视觉变换的能力。方法包含混合时间专家（MoTE），动态选择不同虚拟间隔的时间 RoPE 专家来刻画目标与条件的距离；以及时间推理链（CoTR），通过潜在中间状态和推理瓶颈注意力掩码建模条件到目标的变换。作者报告在 DreamBench、COCO2017 和 GEdit-Bench 上，该方法在主体驱动生成、canny-to-image 生成和图像编辑任务中优于对比方法。

要点速读

1. 论文提出 FrameForge，用输入自适应的虚拟时间关系替代固定时间位置的条件-目标建模。
2. MoTE 动态选择不同虚拟间隔的时间 RoPE 专家，CoTR 通过潜在中间状态与推理瓶颈注意力掩码建模变换路径。
3. 作者报告在 DreamBench、COCO2017、GEdit-Bench 上，主体驱动生成、canny-to-image 与图像编辑表现优于对比方法。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/29 08:00:21（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。