论文提出双通路视频编辑方法并构建超120万条训练数据
资讯摘要
论文提出 SemantiScene-Edit，一种基于指令的视频编辑方法：多模态编码器联合处理源帧与编辑指令，通过可学习查询、可训练连接器和交叉注意力把语义上下文传给视频扩散 Transformer；另一条视觉通路在 patch embedding 前拼接源视频潜变量与噪声目标潜变量，以保留内容。作者用 flow matching 和三阶段图像—视频课程训练，并构建超 120 万条指令编辑记录及 100 例基准。
要点速读
- 多模态编码器联合处理源帧与指令，经可学习查询和交叉注意力向生成器传递语义上下文
- 视觉通路在 patch embedding 前拼接源视频潜变量与噪声目标潜变量，提供稠密时空信息
- 作者构建超 120 万条指令条件视频编辑记录，覆盖物体添加、移除、替换与属性修改，并设 100 例基准
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。