X-Dubbing 用时间预算与配音反馈实现免配对数据的同步配音。
资讯摘要
论文提出 X-Dubbing，将跨语言配音拆解为时间感知的语音到文本翻译与视频感知的文本到语音两个联合问题，由 Dubbing Translator 生成带时间结构的脚本、Voice Actor 按源视频同步渲染，二者共享与语言无关的时间预算。作者还用合成语音的配音反馈优化翻译器，且无需成对配音数据。论文报告其在等时性和视听一致性等指标上优于近期基线。
要点速读
- 方法包含 Dubbing Translator 与 Voice Actor 两个组件，基于语言无关的时间预算协同工作。
- 翻译器利用合成语音的配音感知反馈进行优化，训练分别使用语音-文本与单语视听数据，无需成对配音数据。
- 论文报告在等时性、视听对应等多项指标上优于近期基线。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/27 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。