SEPO 用标签引导探索加自蒸馏实现推理能力持续自我进化。
资讯摘要
论文提出 Self-Evolution Policy Optimization（SEPO）框架，用于让大语言模型持续自我进化推理能力。SEPO 利用标签引导策略生成正确推理以突破探索瓶颈，再把以该推理为条件的当前策略当作自教师，将新解蒸馏回策略，形成策略内在的探索与利用循环。作者报告在科学、工具使用和复杂逻辑推理任务上，相同训练时间或步数下性能最佳，且在小模型和复杂任务上仍能稳定提升。代码已开源。
要点速读
- 论文指出 RLVR 与自监督 on-policy 蒸馏均存在探索瓶颈，策略采样不到有效解时难以跳出局部最优。
- SEPO 用标签引导策略产生正确推理，再以当前策略为自教师把该解蒸馏回策略，实现策略内在的探索与利用循环。
- 作者报告在科学、工具使用、复杂逻辑推理任务上，相同训练时间或步数下取得最佳表现，小模型与复杂任务上仍稳定提升。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/28 08:00:17（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。