EVOL-RL：无标签自进化语言模型

EVOL-RL 用多数投票加新颖性缓解无标签自训练的多样性崩溃。

资讯摘要

论文提出 EVOL-RL，用于无标签语言模型自我改进。作者指出，重复自选择会导致“选择诱导的多样性崩溃”，使候选池收窄、替代正确解更难被采样。EVOL-RL 用多数投票提供稳定选择信号，用基于嵌入的新颖性细化同状态响应的信用分配，并辅以熵正则和非对称裁剪。作者报告在多种训练分布、模型规模和骨干上，pass@n 一致提升，pass@1 总体保持或提升。

要点速读

1. 论文识别无标签自改进中的“选择诱导的多样性崩溃”失败模式
2. EVOL-RL 结合多数投票选择、嵌入新颖性信用分配、熵正则与非对称裁剪
3. 作者报告 Qwen3-4B-Base 在 AIME24 无标签训练后，AIME25 上 pass@1 从 4.6% 升至 17.1%，pass@16 从 18.5% 升至 42.0%

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/28 08:00:17（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。