StateWise：让语言模型在多轮对话中跟踪并遵守变化约束

StateWise 用可修订约束状态加偏好训练降低多轮对话中的约束复发。

资讯摘要

论文提出 StateWise，训练单个 LLM 自行维护可修订的约束状态，用带墓碑标记的类型化状态记录已撤销约束，并以可执行检查器衡量约束保持与复发。方法先微调模型做对话状态总结与基于状态的回答，再用自身轨迹自训练并只保留通过精确往返校验的轮次；作者报告 7-8B 模型能近乎完美跟踪状态却仍不遵守，故加入针对复发对比的偏好阶段。

要点速读

1. 论文指出指令微调 LLM 在多轮对话中存在约束保持失败与已撤销约束复发两类问题，现有修复是每轮重新注入编译规格的外部账本。
2. StateWise 先监督微调状态总结与条件回答，再自训练并保留通过精确往返检查的轮次；作者报告 Llama-3.1-8B 上各监督变体使复发约翻倍。
3. 加入基于自生成复发对比的偏好阶段后，作者报告在两个骨干模型、留出约束族与未见措辞上，复发相对监督自训练降低 8-22 点，对话成功率较骨干提升 8-19 点，且无需推理时脚手架即在复发上优于 oracle 编译账本基线。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/28 08:00:17（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。