注意力图曲率用于数学推理验证

注意力图曲率可提升数学推理步骤验证器表现

资讯摘要

论文研究语言模型注意力图的有向Forman曲率是否携带推理步骤正确性信息。作者在ProcessBench上对比四种逐步验证器，在输入中附加曲率值后四者平均表现均提升，其中逐token输入的ReProbe提升最大；附加曲率使前向传播时间平均增加18%。代码已公开。

要点速读

1. 论文在ProcessBench上评估四种逐步验证器，比较输入附加曲率前后的表现。
2. 附加曲率值后四种验证器整体平均性能均提升，ReProbe提升最大。
3. 附加曲率使语言模型前向传播时间平均增加18%，代码已在GitHub公开。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/29 08:00:21（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。