资讯摘要
论文提出 HarnessPro,一种无需标签的 harness 演化方法,通过专用智能体诊断执行轨迹并规划更新,以在提升任务表现的同时降低执行成本。该方法用归一化加权平方距离选择,输出侧重成本(lite)、均衡(medium)和侧重性能(heavy)三种 harness。作者报告在 Terminal-Bench 2、SWE-Bench Pro 和 ProgramBench 上,使用 GPT-5.5 与 Codex 时 heavy 模式相对 RHO 平均通过率提升 2.0 个百分点、每任务成本降低 26.1%。
要点速读
- 论文提出 HarnessPro,用 LLM 生成的测试评估候选 harness,不依赖真实答案或官方测试。
- 方法提供 lite、medium、heavy 三种性能-成本取向的 harness,供不同部署预算选择。
- 作者报告在三个基准上使用 GPT-5.5 与 Codex 时,heavy 模式相对 RHO 平均通过率提升 2.0 个百分点、每任务成本降低 26.1%。
中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/20 21:10:48(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。