用上下文感知解码缓解思维链中的查询捷径

RCD 以无需训练的解码方式提升 CoT 答案准确率并增强对理由的依赖。

资讯摘要

论文研究将上下文感知解码（CAD）用于思维链推理，提出 Rationale Contrastive Decoding（RCD）：对比有、无理由条件下的下一 token 分布，放大因理由而概率上升的 token，并通过 KL 正则化奖励最大化目标给出理论解释。作者报告在五个推理基准上 RCD 相比标准 CoT 提升答案准确率；用真实与随机理由做干预分析显示，最终答案对理由内容的行为依赖增强。

要点速读

1. 论文提出 RCD，将 CAD 的对比解码思路用于 CoT 推理，对比有理由与无理由条件下的下一 token 分布。
2. 作者通过 KL 正则化奖励最大化目标对该解码规则给出理论解释。
3. 作者报告在五个推理基准上 RCD 优于标准 CoT，且干预分析显示答案对理由内容的依赖增强。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/23 08:00:11（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。