DIAL-S2ST 用 10 小时语音实现同传延迟可调
资讯摘要
论文提出 DIAL-S2ST,一种用于同声语音翻译模型推理时延迟控制的后训练方法。该方法通过从前瞻预测自蒸馏复用预训练翻译能力,并限制大文本蒸馏损失的影响以应对模仿差距,无需配对目标数据或奖励计算即可为更早输出提供监督。作者联合训练单个 LoRA 适配器以在推理时调节时序,在 Hibiki 的法译英实验中仅用 10 小时源语音即完成适配,获得质量与延迟的折中。
要点速读
- 论文提出 DIAL-S2ST 后训练方法,学习同声语音翻译的推理时延迟控制。
- 方法通过前瞻预测自蒸馏复用预训练能力,无需配对目标数据或奖励计算。
- 在 Hibiki 法译英实验中,仅 10 小时源语音即可完成适配并调节延迟。
中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/27 08:00:28(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。