合成语码转换语音更适合学习适配初始化,而非普通持续微调。
资讯摘要
论文提出 SyRA-CS,一种基于 Reptile 元学习的合成到真实适配框架,用于语码转换自动语音识别。方法针对每个语言对和预训练模型,先在对应的合成 CS-FLEURS 子集上元训练,再用一小时带标注真实目标语音适配。实验覆盖阿拉伯语、法语、德语、印地语与英语的语码转换,涉及 Encoder-CTC、FastConformer-RNN-T、AED 和 Speech-LLM 四种架构。
要点速读
- 论文在 16 组模型-语言对比较中,WER 均优于持续微调,CER 有 15 组更优。
- 作者报告相对宏平均 WER 降幅:XLS-R 为 17.7%,其余三个模型为 5.3–5.8%。
- 增益在不同架构、语言对和指标上幅度不一,但整体成立。
中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/24 08:00:37(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。