SSU-Wanda+TIES在扩展新语言时对源语言保持效果最佳。
资讯摘要
论文研究基于连接器的语音大模型在多语言ASR扩展中的源语言遗忘问题：连接器将语音表示映射进冻结的大语言模型，适配时无法重放源语言训练数据。作者比较目标更新构造与合并策略，发现仅目标微调和标准TIES合并虽能学会新语言，却严重遗忘源语言；SSU-Wanda+TIES在源语言保持上取得最佳折中。多目标扩展中，更新合并能稳定保留源语言，递归扩展在有利顺序下可改善目标适配，但对顺序高度敏感。
要点速读
- 研究对象为连接器式语音大模型：可训练连接器将语音表示映射到冻结LLM，适配时不能重放源语言数据。
- 单目标扩展中，仅目标微调与标准TIES合并会严重遗忘源语言，SSU-Wanda+TIES在目标习得与源语言保持间折中最好。
- 多目标扩展中更新合并可稳定保留源语言，递归扩展对语言顺序高度敏感。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/28 08:00:17（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。