研究质疑随机权重扰动能否揭示预训练模型的任务专家
资讯摘要
论文重新检验 Gan & Isola（2026）提出的“神经密集区”观点，即预训练模型周围存在可用高斯权重扰动找到的任务专家。作者报告：最优扰动带来的提升随选择集规模增大迅速衰减，12 个模型-任务对中有 10 个可由纯选择噪声解释超过 75% 的提升；最优专家在留出问题上优势常消失，或落在未扰动模型的运行波动内；对 top-K 扰动做多数投票的 RandOpt(N, K) 常被基座模型 K 样本多数投票追平或超越。
要点速读
- 最优扰动的奖励提升随选择集规模 m 增大快速衰减，提示对选择问题过拟合
- 12 个模型-任务对中 10 个，纯选择噪声的零模型可解释最优专家超过 75% 的提升
- RandOpt(N, K) 多数投票常被基座模型 K 样本多数投票追平或超越
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/4 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。