unembedding最小奇异方向对下一词预测影响远超其奇异值排序。
资讯摘要
论文考察语言模型最终隐藏状态变化与下一词预测的关系，发现沿unembedding最小奇异方向改动虽使logit变化较小，但在多个开放权重模型家族中，其预测变化和下一词损失变化平均是随机改动的数倍。作者指出，这些方向承载了模型主要候选词之间差异的很大份额，因此基于距离的方法会低估它们，按奇异值排序也会把它们排在最后。
要点速读
- 论文测试沿unembedding最小奇异方向改动最终隐藏状态，其logit变化小于同长度随机改动。
- 在多个开放权重语言模型家族中，这些方向的预测变化与下一词损失变化平均为随机改动的数倍。
- 作者报告，预测变化相对logit变化不成比例的现象仅出现在最小奇异方向上，这些方向承载主要候选词差异的较大份额。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/5 08:00:38（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。