论文提出 Seq@K 指标，衡量模型利用反馈迭代改进的能力。
资讯摘要
论文提出 Seq@K 评估协议，衡量模型在 K 次顺序尝试中、每次失败后获得反馈时能否解决问题，以区别于 Pass@1、Pass@K 等指标。作者在 7 个基准和 16 个前沿模型上评测，报告 Seq@K 下的模型排名常与 Pass@K 不同，帕累托前沿出现更高效配置，最优配置带来的收益也可能扩大或缩小。论文还分析模型轨迹，刻画其回应反馈的速度与坚持原答案的程度，并指出反馈设计会影响迭代改进效果。
要点速读
- Seq@K 要求模型在 K 次顺序尝试内解题，每次失败后获得反馈，聚焦从反馈中改进答案的能力。
- 作者在 7 个基准和 16 个前沿模型上评测，报告 Seq@K 下模型排名常与 Pass@K 不同。
- 论文分析模型轨迹以刻画迭代改进行为，并指出反馈性质会影响改进效果，需谨慎设计反馈循环。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。