回到最新动态
论文更新 / THE SIGNAL

长程搜索中的上下文腐化诊断与缓解

Diagnosing and Mitigating Context Rot in Long-horizon Search

重要性 5.5 AI 辅助整理

长上下文下模型会提前放弃搜索,而非用尽窗口。

资讯摘要

论文针对大模型在长程搜索任务中的“上下文腐化”问题,系统研究四个旗舰模型在三个基准上的表现,发现模型常在耗尽上下文窗口前就放弃或给出不确定的错误答案,作者称之为“无结论搜索失败”,且该现象在简单和中等难度查询中也很常见。论文重新审视上下文管理与并行采样两类缓解方法,并报告行为感知过滤策略在三种聚合方法下带来2.6%至4.9%的性能提升。

要点速读

  1. 论文在四个旗舰模型、三个基准上发现:上下文很长时,模型会在耗尽窗口前就放弃或给出不确定的错误答案,作者称其为“无结论搜索失败”。
  2. 论文分析三类共七种上下文管理方法,认为它们本质上是测试时扩展策略,通过降低峰值上下文长度促使模型继续探索。
  3. 论文提出行为感知过滤的并行采样策略,在三种聚合方法下报告2.6%至4.9%的性能提升。

中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/28 08:00:17(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。

阅读 arXiv · cs.CL 原文arxiv.org · 在新窗口打开