全双工语音模型长对话为何崩溃

全双工语音模型长对话会因上下文耗尽而崩溃，论文给出免重训修复。

资讯摘要

论文指出全双工语音模型逐帧生成 token，即使聆听时也在消耗上下文，几分钟内即耗尽窗口，而现有基准只测单轮或数轮对话。作者提出 FD-LHB 长时程基准，在长回放对话和与 LLM 实时对话中测试五个近期模型，发现所有模型最终退化或耗尽上下文。作者将乱码与沉默归因于滑动窗口丢弃首个 KV 条目，重复则受模型自身近期输出强化，并提出 IAP 与 DRP 两项免重训修复。

要点速读

1. 论文提出 FD-LHB 基准，测试五个全双工模型的长回放对话与 LLM 实时对话。
2. 所有被测模型最终退化或耗尽上下文；保留完整历史的模型常在耗尽前退化，滑动窗口模型出现重复、沉默和乱码。
3. 作者用 Initialization-Anchor Pinning 和 Duplex Repetition Penalty 两项免重训修复，在最长一小时回放中实时运行并减少对话崩溃。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/27 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。