LLM能否自主改进自身运行框架？ARC-AGI-3受控研究

两次自主修订仅使留出集RHAE平均提升2.80点，开发集增益被高估。

资讯摘要

论文在ARC-AGI-3交互基准上考察前沿模型能否自主构建并改进任务运行框架（harness）。每个模型通过固定编码引导构建完整框架，在5个开发游戏上行动并两次修改全部代码，各版本在20个未参与适应的游戏上评估，以RHAE和推理成本衡量。27条谱系表现从零到接近满分；两次修订仅使留出集平均RHAE提高2.80点（95%区间[-1.44,7.35]），开发集增益高估留出集改进，降低成本可能牺牲任务表现。

要点速读

1. 研究采用固定编码引导，让每个模型构建完整harness，在5个开发游戏上运行并两次修订整个代码库，所有版本在20个未影响适应的游戏上评估。
2. 27条谱系中harness表现从零到接近上限；两次修订使留出集平均RHAE仅提升2.80点，95%区间为[-1.44,7.35]。
3. 作者报告开发集增益会高估留出集改进，推理成本下降可能以任务表现为代价，人类引导系统仍有更大提升空间。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/24 08:00:37（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。