编码智能体harness持续进化会出现严重灾难性遗忘。
资讯摘要
论文研究编码智能体的harness持续自我进化是否会遭遇灾难性遗忘。作者将三个软件工程任务数据集组织成六个进化方向,用两种代表性harness进化方法进行持续进化实验。结果显示,在后续数据集上的进化会显著削弱此前数据集的性能:以DeepSeek-V4-Flash-0731为例,Meta-Harness进化后SWE-Bench达94.0%,再经FeatureBench进化到第五轮后降至32.0%,相对下降66%。论文据此提出若干启示,代码已开源。
要点速读
- 作者将三个软件工程任务数据集组织为六个进化方向,用两种代表性harness进化方法做持续进化实验。
- Meta-Harness在DeepSeek-V4-Flash-0731上进化后SWE-Bench达94.0%,再经FeatureBench进化至第五轮后降至32.0%,相对下降66%。
- 论文基于实验结果提出若干启示,为agent harness持续自我进化提供方向,并公开代码。
中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/4 08:00:28(北京时间)。