资讯摘要
论文研究SPARK策略与奖励协同进化框架能否迁移到代码生成，并检验基于执行反馈的反思是否带来额外自我改进。作者用Qwen2.5-Coder-3B-Instruct对比SPARK式rollout回收与仅执行的GRPO，结果不支持两项假设：协同进化虽提升训练表现，但未泛化到留出问题；同阶段下rollout回收的KL散度约为GRPO的34倍，训练通过率上升时每条GRPO序列的训练token从185降至86，留出性能下降或未能维持早期增益。作者将这一现象称为单适配器策略漂移。
要点速读
- 论文对比SPARK式rollout回收与仅执行GRPO，使用Qwen2.5-Coder-3B-Instruct，两项假设在测试配置下均未获支持。
- 协同进化提升训练表现但未泛化到留出问题；同训练阶段rollout回收的KL散度约为仅执行GRPO的34倍。
- 训练中每条GRPO序列的训练token从185降至86，留出性能下降或未能维持早期增益，作者称之为单适配器策略漂移。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/20 21:06:31（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。