论文：LLM 的“无知方向”编码并调节一元先验

论文称 LLM 用单一“无知方向”编码一元先验并可推理时调节。

资讯摘要

论文提出，语言模型在缺乏线索时依赖 unembedding 矩阵中的单一“无知方向”，该方向编码训练语料的一元分布，充当贝叶斯先验。作者在 Llama、Qwen、Gemma、Pythia 等 0.4B 至 405B 参数模型中发现这一结构，并将最终预测状态投影到该方向得到逐 token 的先验载荷 λ；λ 随上下文信息增多而下降，且可分解为“一元先验的 λ 次幂”与上下文似然两部分。作者报告更大模型与推理模型对先验依赖更低，并称降低 λ 可改善 Llama-3.2-3B-Instruct 在 GSM8K 上的表现。

要点速读

1. 论文称 unembedding 矩阵中的单一方向编码训练语料一元分布，作为模型不确定时的回退先验。
2. 该结构在 Llama、Qwen、Gemma、Pythia 的 0.4B 至 405B 参数模型中出现；投影得到先验载荷 λ，随上下文信息增加而下降。
3. 作者报告降低 λ 可促进上下文驱动续写并提升 Llama-3.2-3B-Instruct 的 GSM8K 表现，放大 λ 或沿随机方向施加匹配扰动则性能下降。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。