论文：用策略更新信号诊断技能效用变化

论文用策略更新信号诊断技能效用变化，无需额外 rollout。

资讯摘要

论文指出，策略更新会改变未变技能的行为效果与边际效用，基于旧轨迹的归因可能失效，且轨迹失败多因混杂难以隔离单个技能贡献。作者在更新前训练轨迹的固定上下文上，测量策略更新如何改变技能与对照条件的 token 偏好对比，并结合优势估计得到奖励导向读数，用于诊断技能效用变化。实验显示该读数可识别效用下降的技能，将其用于技能演化优先级可提升下游表现并减少 token 消耗。

要点速读

1. 论文关注策略更新后未变技能的边际效用变化，认为旧轨迹归因可能不再反映当前贡献。
2. 方法复用已有训练轨迹，仅需前向计算做单步动作打分，无需更新后额外 rollout 评估。
3. 作者报告策略更新读数能识别效用下降的技能，用于优先级排序可改善下游表现并降低 token 消耗。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。