持续学习考试：评估LLM智能体长期经验学习

新基准CLE显示前沿LLM智能体长期经验学习仍困难。

资讯摘要

论文提出 Continual Learning Exam（CLE）基准，由50余位领域专家构建120个任务、每任务五级阶梯共600级，覆盖12个职业领域89个岗位，要求智能体逐级通关并积累经验。在17种前沿LLM配置中，失败后给予诊断反馈并允许一次修订，中位完成率提升5.3个百分点；最佳系统仅通过47.7%的关卡，仅23.3%的任务完成全部五级。

要点速读

1. CLE 含120个人工编写任务，每任务五级共600级，覆盖12个职业领域、89个岗位。
2. 对比单次提交与失败后反馈加一次修订，17种前沿LLM配置中位完成率提升5.3个百分点。
3. 最佳系统通过47.7%的关卡，仅23.3%的任务完成全部五级；数据集也可用于后训练以增强持续学习能力。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/28 08:00:17（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。