冻结音频模型可自行扫描一小时录音定位证据,无需转录或训练。
资讯摘要
论文提出 ReListen,一种免训练方法,让冻结的音频语言模型在回答前自行定位证据:以 20 秒窗口扫描,按有助于回答问题的概率打分,再从得分最高的一分钟作答。作者报告,在 VoiceGiraffe 上,该分钟与标注证据重叠的比例达 88.5%,高于转录检索;同一扫描在 LAT-Bench 上的事件定位效果与专门训练的时间定位模型相当。基于该片段作答可匹配或超过听完整录音,在 VoiceGiraffe 上比整段转录高 9.2 分。
要点速读
- ReListen 用冻结音频语言模型对每个 20 秒窗口打分,选出最高分的一分钟作为证据再作答,无需转录或额外训练。
- 作者报告在 VoiceGiraffe 上,选中分钟与标注证据重叠的比例为 88.5%,高于转录检索;同一扫描在 LAT-Bench 上事件定位效果与训练过的时间定位模型相当。
- 基于选中片段作答在 VoiceGiraffe 上比整段转录高 9.2 分;相同片段下,听音频在声音与嗓音类问题上明显优于读转录,且 ReListen 比所有基于转录的系统更快、显存占用恒定。
中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/5 08:00:38(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。