ViSSFlow：统一视频条件声音与语音生成

论文提出统一流匹配框架同时生成视频条件声音与语音。

资讯摘要

论文提出 ViSSFlow，一个基于流匹配的统一框架，同时处理视频到声音（V2S）与视觉文本转语音（VisualTTS）两类任务。作者在 Diffusion Transformer 中引入解耦条件聚合机制，用交叉注意力建模语义条件、自注意力捕捉时间密集的视觉线索，并报告单一模型端到端联合训练不会牺牲各任务性能。针对配对数据稀缺，论文还提出特征级数据合成策略，实验称其在多项基准上优于任务专用基线。

要点速读

1. ViSSFlow 用流匹配框架统一 V2S 与 VisualTTS，替代以往任务专用架构。
2. 提出解耦条件聚合机制，在 DiT 中分别用交叉注意力和自注意力处理语义与视觉条件。
3. 作者报告联合训练未出现任务干扰，并提出特征级数据合成缓解配对数据不足。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/4 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。