论文提出无需过程奖励模型的推理过程正则框架 GeoFaith。
资讯摘要
论文提出 GeoFaith，一个无需过程奖励模型的时空潜在动力学框架，用于让大语言模型学习更忠实的推理过程。它结合最终状态的潜在不确定性与预测熵动力学，惩罚过早崩溃、振荡和不确定性持续等异常模式，并将这些信号作为过程正则项加入 GRPO，在无步骤级过程标注下同时优化答案正确性与推理质量。作者报告实验显示其推理准确率提升、推理轨迹更高效，并优于仅结果强化学习与过程监督基线。
要点速读
- 论文指出仅优化结果级奖励对推理过程监督有限，模型可能产生走捷径或不稳定的推理轨迹。
- GeoFaith 将最终状态潜在不确定性与预测熵动力学作为过程正则项融入 GRPO，无需步骤级过程标注。
- 作者报告实验显示推理准确率提升、轨迹更高效，并优于仅结果强化学习与过程监督基线。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/28 08:00:17（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。