论文称技能优化器的开发集增益可能来自选择偏差，且会多耗约16%输入token。
资讯摘要
论文提出 BiPA，通过在与种子相同的候选上重放优化器的接受规则，衡量仅靠选择本身能报告多少增益，并把每个回合及其读取的文本记录为二分图，以追踪额外输入 token 的来源。作者在三个优化器、三个智能体基准和两个模型上报告：学到的技能成功率与手写种子相近，平均仅高 0.1 分；开发集增益在测试集上消失；输入 token 约多 16%，优化器几乎总是增加规则，其中一半用于复查工作，部分要求一次调用只执行一步。
要点速读
- 作者报告学到的技能与手写种子成功率相近，平均仅高 0.1 分，开发集增益在测试集上消失。
- 在最多 30 个任务上保留多个候选中的最佳者，即使候选均未改变也能报告同等增益。
- 学到的技能多读约 16% 输入 token，优化器几乎总是增加规则，智能体以额外回合执行并重发整段对话。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/29 08:00:21（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。