CoCA 让评分标准随策略能力动态调整,形成协同进化闭环。
资讯摘要
论文提出 CoCA,一个闭环框架,通过准则级诊断让评分标准(rubric)与策略共同适应。方法对比仅查询与评分引导的 rollout,判断每条准则相对当前策略的难度,重校准难度不匹配的准则,并识别引导揭示的能力缺口,用于前沿学习;随后通过引导优化扩展前沿,或用同策略自蒸馏迁移收益。作者报告在多个基准和 LLM 上优于基于评分标准的 RL 方法,并促进能力内化、缓解能力退化。
要点速读
- CoCA 通过对比仅查询与评分引导的 rollout,对每条评分准则做相对当前策略的诊断。
- 对难度不匹配的准则进行重校准,并识别引导揭示的能力缺口用于前沿学习。
- 作者报告在多个基准和 LLM 上持续优于基于评分标准的 RL 方法,并缓解能力退化。
中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。