语音LLM会因无关历史音频产生特定错误，需控制记忆如何进入计算。
资讯摘要
论文研究语音大语言模型在多轮对话中保留音频历史时，无关历史音频为何会改变回答。作者在MOSS-Audio与MiMo-Audio上做受控实验，发现历史数值会把错误引向特定竞争答案，且超出上下文长度的通用影响。因果干预区分出两条路径：开放式问答中多数错误在阻断直接访问后消失，选择题中许多错误仍持续。论文提出，可靠对话记忆不仅需保留与检索，还需控制保留信息如何进入答案计算。
要点速读
- 论文在MOSS-Audio和MiMo-Audio上开展受控实验，发现无关历史音频会把错误导向特定竞争答案，且该效应超出上下文长度的一般影响。
- 因果干预显示：开放式问答中，阻断后续计算直接访问无关来源后多数历史值错误消失；选择题中许多错误仍持续，早期历史影响由问题-候选状态携带。
- 低维干预可分离来源角色信息与答案值信息，二者效应峰值深度不同；在自然错误上，强化被查询角色与抵消历史值各自改善回答，联合干预恢复效果最好。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/5 08:00:38（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。