ReHear：用音频大模型迭代精炼半监督语音识别伪标签

音频大模型结合源音频迭代精炼伪标签，缓解半监督 ASR 误差累积。

资讯摘要

论文提出 ReHear，一种用于半监督语音识别的迭代伪标签精炼框架。针对伪标签因噪声监督产生确认偏差和误差累积的问题，该方法将指令微调的音频感知大语言模型引入自训练循环，让模型同时以 ASR 假设文本和源音频为条件，从而在识别错误严重时也能恢复音素准确的转写。精炼后的伪标签作为高保真目标，迭代微调 ASR 模型。作者报告在多个基准上，ReHear 缓解了错误传播，并优于监督和伪标签基线。

要点速读

1. ReHear 将指令微调的音频感知大语言模型接入半监督 ASR 的自训练循环，用于迭代精炼伪标签。
2. 与纯文本纠错器不同，该模型同时以 ASR 假设和源音频为条件，可在严重识别错误下恢复音素准确的转写。
3. 作者报告在多个基准上，ReHear 缓解错误传播，并优于监督与伪标签基线。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。