新基准显示网页智能体技能在环境变化下稳健性下降。
资讯摘要
论文提出 SkillShift-Bench，称其为首个在受控开放环境变化下评估技能学习的基准。它基于三个自托管网页系统模拟上下文、感知与执行三类变化，并从任务成功率、交互成本、技能使用与技能失败等维度诊断智能体。作者报告实验显示受控变化下稳健性系统性下降，执行变化压力最大；论文还将偏移下的技能执行建模为非平稳局部可执行性问题，给出动态遗憾分析与一种测试时自适应方法。
要点速读
- 论文提出 SkillShift-Bench，称其为首个在受控开放环境变化下评估技能学习的基准，覆盖三个自托管网页系统。
- 作者报告智能体在受控变化下成功率下降、交互成本上升、技能失败更频繁，其中执行变化影响最强。
- 论文将偏移下的技能执行建模为非平稳局部可执行性问题，提供动态遗憾分析与一种无需重学技能库的测试时自适应方法。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/28 08:00:17（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。