仅训练轻量投影模块即可让语音LLM在多项基准领先
资讯摘要
论文提出SIFT范式，用冻结LLM基于语音文本表示生成监督信号，免去收集任务特定问答对。据此构建AzeroS，基于Qwen2.5-7B-Instruct，仅训练两个各2380万参数投影模块，LLM与音频编码器均冻结，使用约2.5万小时带ASR转写语音和3000小时副语言标注语音。作者报告其在VoiceBench、AIR-Bench Foundation（Speech）与AIR-Bench Chat（Speech）上取得领先表现。
要点速读
- 论文提出SIFT：监督信号由冻结LLM以语音的文本表示为输入自生成，无需任务特定问答对
- AzeroS基于Qwen2.5-7B-Instruct，仅更新两个各2380万参数的投影模块，LLM与音频编码器冻结
- 训练数据约2.5万小时带ASR转写语音与3000小时带副语言标签语音；作者报告在VoiceBench及AIR-Bench语音基准上达到领先水平
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/29 08:00:21（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。