用窗口似然替代奖励采样：全双工语音模型的打断与附和

论文用窗口似然替代奖励采样，改善全双工语音模型的让出与保持。

资讯摘要

论文针对全双工语音对话模型在用户插话时应让出、仅附和时应保持的问题，检验了带时序奖励的序列级强化学习（GRPO）整段采样形式，在四个开源模型上发现两类失败：二元窗口奖励在最需学习的窗口上优势为零，形成零梯度陷阱；单次 rollout 的分数被摊到奖励未定义的聆听状态决策上，造成信用泄漏，导致模型对沉默说话或停止回答。作者提出窗口似然（WL）：每个窗口采样续写，但对经过的停止决策做闭式积分，最大化正确动作的对数概率。论文报告在 HumDial-FDBench 上，六个结构不同的开源模型经后训练后均取得最佳让出/保持 F1，超过 Kyutai 发布的 GRPO 检查点。

要点速读

1. 论文在四个开源模型上测试 GRPO 整段 rollout 形式，指出二元窗口奖励的零梯度陷阱与信用泄漏两类失败。
2. 提出窗口似然（WL），对停止决策做闭式积分，分别用 noisy-OR 与生存乘积建模让出和保持。
3. 论文报告在 HumDial-FDBench 上，六个后训练开源模型的让出/保持 F1 均为最佳，并超过 Kyutai 发布的 GRPO 检查点。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/28 08:00:17（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。