论文从输入端缩小语音与文本大模型的模态差距。
资讯摘要
论文提出 TextPro-SLM，主张语音大模型与文本大模型之间的模态差距主要瓶颈在输入端，而非此前工作关注的输出端。该方法将统一语音编码器 WhisperPro（同步输出文本 token 与韵律嵌入）与经训练的 LLM 主干结合，在保留原文本模型语义能力的同时学习副语言理解。作者报告其在 3B 和 7B 规模下取得领先 SLM 中最低的模态差距，副语言任务表现良好，且仅用约 1000 小时 LLM 训练音频。
要点速读
- 论文提出 TextPro-SLM，从输入端让语音输入更接近韵律感知文本 LLM 的输入形式。
- WhisperPro 编码器同步产生文本 token 与韵律嵌入，LLM 主干兼顾语义能力与副语言理解。
- 作者报告 3B、7B 规模下模态差距为领先 SLM 中最低，训练音频约 1000 小时，代码已公开。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/3 08:00:27（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。