GSLM2 用多层级多流语音单元缩小语音与文本模型差距。
资讯摘要
论文提出 GSLM2，指出语音语言模型落后于文本模型的两个瓶颈：语音单元语言质量有限、仅用单流离散单元表示语音。其编码器 SpidR 2.0 通过自监督学习与可微预测头，在多个抽象层级生成高质量离散单元；多流 SLM 以共享时间骨干、各流独立预测器和自回归头联合建模跨流依赖。作者报告在最多 600 万小时数据、65 亿参数规模下，sWuggy、sBLIMP、tSC 上与文本模型的差距缩小约两个数量级，并开源训练代码与模型检查点。
要点速读
- 论文提出 SpidR 2.0 编码器，用自监督学习与可微预测头在多个层级诱导离散语音单元。
- 多流 SLM 用共享时间骨干、流特定预测器和自回归头联合建模各流单元及跨流依赖。
- 作者报告训练数据达 600 万小时、参数达 65 亿，在 sWuggy、sBLIMP、tSC 上把语音与文本模型差距缩小约两个数量级，并开源代码与检查点。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/4 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。