AtManRL：用可微注意力显著性训练忠实推理

AtManRL 用注意力显著性奖励训练更忠实的链式推理。

资讯摘要

论文提出 AtManRL，通过可微注意力操纵训练链式推理的显著性：优化一个加性注意力掩码，识别恢复模型答案所需的 CoT token，据此得到显著性奖励，并与结果奖励在 GRPO 中结合、采用解耦优势。作者在 Qwen2.5-3B、Granite-3.3-2B、Phi-4-mini 三个模型和 GSM8K、MMLU、ProofWriter、QuestBench 四个基准上，与长度惩罚基线曲线比较，报告显著性提升 3.9–4.0pp、忠实性提升 5.7–7.7pp，且准确率与同长度基线相当。

要点速读

1. 方法用可微注意力掩码识别恢复答案所需的 CoT token，生成显著性奖励并与结果奖励在 GRPO 中结合。
2. 评估对比长度惩罚基线的权衡曲线，而非单一基线，因显著性与忠实性都强烈依赖推理链长度。
3. 在三个模型、四个基准上，作者报告显著性提升 3.9–4.0pp、忠实性提升 5.7–7.7pp，准确率与同长度基线相当。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/24 08:00:37（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。