回到最新动态
论文更新 / THE SIGNAL

Sparkle:解耦引导实现指令视频背景替换

Sparkle: Realizing Lively Instruction-Guided Video Background Replacement via Decoupled Guidance

重要性 5.5 AI 辅助整理

论文开源约14万对视频的背景替换数据集、基准与模型。

资讯摘要

论文指出,现有开源视频编辑数据集多聚焦局部编辑或风格迁移,背景替换因需合成全新且时序一致的场景、保持前后景交互而数据稀缺,导致 Kiwi-Edit 等模型表现不佳,问题源于数据合成时缺乏精确背景引导。作者设计解耦生成前景与背景引导并严格质量过滤的可扩展流程,构建约 14 万对视频的 Sparkle 数据集、Sparkle-Bench 基准及配套模型,并全部开源。

要点速读

  1. 论文将背景替换数据质量下降归因于合成时缺少精确背景引导,提出解耦生成前景与背景引导并严格过滤的流程。
  2. 发布 Sparkle 数据集约 14 万对视频,覆盖五类常见背景更换主题,并推出 Sparkle-Bench 评测基准。
  3. 作者报告其数据集与训练模型在 OpenVE-Bench 和 Sparkle-Bench 上均优于现有基线,数据集、基准、模型与生成流程已开源。

中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/3 08:00:27(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。

阅读 arXiv · cs.AI 原文arxiv.org · 在新窗口打开