回到最新动态
交叉发布 / THE SIGNAL

SelfImprove-Bench:评估自我改进智能体的泛化能力

SelfImprove-Bench: Evaluating Generalization in Self-Improving Agents

重要性 5.5 AI 辅助整理

新基准用 G0–G4 泛化阶梯检验自我改进智能体的收益迁移。

资讯摘要

论文提出 SelfImprove-Bench,一个面向递归自我改进(RSI)系统的评估框架,旨在区分能力提升与场景拟合,并提供可扩展的未见任务协议与改进归因。该框架将任务组织为探索、规划、推理三类能力,以游戏实例化任务,并用任务模板与难度系数生成和编排任务。评估按 G0 至 G4 的泛化阶梯衡量收益迁移程度,实验显示现有 RSI 方法的进化收益在不同泛化层级上并不一致。

要点速读

  1. 论文提出 SelfImprove-Bench,将任务组织为探索、规划、推理三类能力,并以游戏实例化以保证可控与可复现。
  2. 框架用任务模板和难度系数支持可扩展的任务生成与编排,并设置 G0 至 G4 泛化阶梯衡量收益迁移。
  3. 作者报告现有 RSI 方法的进化收益在不同泛化层级上表现不一致。

中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/4 08:00:28(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。

阅读 arXiv · cs.CL 原文arxiv.org · 在新窗口打开