论文提出九维度智能体技能评估基准及免执行评估基线。
资讯摘要
论文提出 SkillCT，一个面向智能体技能的多维评估基准，从静态评估、动态评估和人工辅助评估三方面共九个维度刻画技能质量，而非只看下游任务执行成功率。作者将其应用于公开技能语料库建立参考基准，并提出无需执行技能的基线，通过检索相似参考技能预测未见技能的质量画像，以降低 token 消耗与评估时间。论文报告 SkillCT 引导的优化可提升下游任务成功率与执行效率。
要点速读
- SkillCT 从静态、动态、人工辅助三方面共九个维度评估技能质量，覆盖规范质量、行为鲁棒性、语义对齐与责任边界等。
- 作者提出免执行的质量评估基线，通过检索相似参考技能预测未见技能的多维质量画像，减少 token 消耗和评估时间。
- 论文报告 SkillCT 引导的优化可提升下游任务成功率与执行效率，并称其有助于技能优化与仓库维护。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。