论文质疑Neural Thickets几何解释

论文称Neural Thickets增益可由输出多样性与投票解释

资讯摘要

论文复现了Neural Thickets报告的增益，但认为其无需权重空间几何解释。作者发现仅扰动单个解码器块即可恢复大部分提升；在模型完全冻结时给输出logits加随机偏置，在多数推理任务上可匹配或超过全权重扰动。论文据此提出Perturb-Select-Vote（PSV）框架，将增益归因于输出多样性、验证集选择与投票，并在一阶分析及视觉域偏移实验中给出支持。

要点速读

1. 论文复现了Neural Thickets的增益，但指出单块扰动即可恢复大部分提升。
2. 冻结模型并在输出logits加随机偏置，在多数推理任务上匹配或超过全权重扰动。
3. 作者提出Perturb-Select-Vote框架，将增益解释为输出多样性、验证选择与投票，并扩展至视觉域偏移实验。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。