论文提出用无辅助评分判断技能是否已内化，并发布 1,251 项技能数据。
资讯摘要
论文关注 LLM 智能体技能库如何判断某模型已内化某项技能并据此退役该技能。作者指出，仅凭有无技能时的增益接近零，无法区分“已内化”与“未覆盖”两种状态；为此提出在撤下技能后用由其合成的任务评分，且仅当另一模型能从该技能获益时才采信高分。作者报告，在四个模型下，既有增益规则会误删过半未覆盖技能；在 SkillsBench 上，31 项退役中有 28 项依据的是没有任何运行完整通过的探针。无辅助评分的判定跨任务一致性高于增益规则（Cohen's kappa 0.42 对 0.23），但随模型而异。作者发布 1,251 项技能及任务与分项得分。
要点速读
- 论文指出，仅比较有无技能时的增益无法区分技能已内化与模型和技能都未提供能力（未覆盖）两种情况。
- 作者报告，在四个模型下，按每技能一个任务应用既有增益规则，会移除超过一半的未覆盖技能。
- 在 SkillsBench 上，31 项退役中有 28 项依据的是没有任何运行完整通过的探针；无辅助评分判定跨任务一致性为 Cohen's kappa 0.42，增益规则为 0.23。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/27 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。