Echoes as Anchors：LLM 推理中的回声概率成本与注意力重聚焦

论文把推理模型复述问题视为可计算的注意力重聚焦机制。

资讯摘要

论文分析大型推理模型在长思维链开头复述问题的倾向（Echo of Prompt，EOP），将其视为推理轨迹内部自生成的提示重复，并用拒绝式条件化刻画其概率成本，提出可计算的 Echo Likelihood Gap ΔL。作者报告：在 GSM8K 失败轨迹中重新插入回声，可使两个推理模型的精确匹配提升 7.9–10.4 点，而非推理基座模型无此效果；注意力分析显示 EOP 增强中层答案前缀注意力。基于此提出 ED-SFT 与免训练的 Echoic Prompting，在 GSM8K、MathQA、Hendrycks-MATH、AIME24、MATH-500 上报告稳定增益，代码已公开。

要点速读

1. 论文将模型复述问题的 EOP 形式化为推理轨迹内的提示重复，并用拒绝式条件化定义 Echo Likelihood Gap ΔL。
2. 因果干预显示，向 GSM8K 失败轨迹重插回声使两个推理模型精确匹配提升 7.9–10.4 点，非推理基座模型无提升。
3. 提出 ED-SFT 与免训练 Echoic Prompting，在五个数学基准上报告优于含 thinking-token 插入的基线。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。