回到最新动态
研究论文 / THE SIGNAL

论文提出RegretBench与BackUpper,评估并自动化编码智能体的备份意识

Back Up Before You Regret: Measuring Backup Awareness and Automating Backup in Coding Agents

重要性 5.5 AI 辅助整理

论文显示编码智能体任务完成率高但备份意识低,BackUpper可低成本自动备份。

资讯摘要

论文指出编码智能体可自主修改真实状态,但备份意识有限。作者构建RegretBench,含205个源自用户后悔未保存状态的可执行任务;六个前沿模型平均完成86.1%任务,却仅在15.2%的后悔时刻前备份。作者提出BackUpper备份层,检查每次工具调用并在修改前保存状态,在RegretBench上覆盖全部后悔时刻动作,恢复状态与原状态平均相似度92.2%,每任务成本0.014美元,token用量比主智能体自备份基线少7倍;用户有偏好时可按范围收窄,与人工标注判断是否值得保存的F1为84.5%。

要点速读

  1. RegretBench含205个可执行任务,来自X.com、GitHub、Stack Overflow等平台用户后悔未保存状态的案例。
  2. 六个前沿模型平均完成86.1%任务,但仅15.2%在后悔时刻前备份。
  3. BackUpper覆盖全部后悔时刻动作,恢复相似度92.2%,每任务0.014美元,token比主智能体自备份基线少7倍。

中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/23 08:00:11(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。

阅读 arXiv · cs.AI 原文arxiv.org · 在新窗口打开