论文解释ES微调LLM时子代变差而父代变好的悖论。
资讯摘要
论文指出，用进化策略（ES）微调大语言模型时存在一种悖论：所有子代模型的表现都持续差于父代，但训练中父代模型却不断变好，且该现象跨模型、任务乃至模态出现。作者分析认为，在高维空间中，探索虽导致性能变差，却能指示好的方向，聚合这些方向即可实现局部改进，可视为噪声与曲率相互作用产生的新优化范式。
要点速读
- 论文刻画了ES微调LLM时“子代全面劣于父代、父代却持续提升”的悖论，该现象跨模型、任务和模态出现。
- 作者从局部奖励景观与ES估计器性质解释：高维探索带来更差表现，但仍能指示有利方向。
- 聚合这些方向可实现局部改进，论文将其视为噪声与曲率交互产生的新优化范式。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/5 08:00:38（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。