论文发现模型首个答案会写入方向并影响后续回答。
资讯摘要
论文研究语言模型的“自我承诺”现象：模型对某实体的一个是/否回答会改变其随后关于同一实体的另一问题的回答。作者在四个家族共22个开放权重模型（0.5B–72B）上固定首个答案，测量3,600组问题对、120个实体上的第二答案偏移。论文报告每个答案会在残差流中写入一个承诺方向，两问题方向的相似度可预测其耦合程度；消融该方向可去除大部分耦合，但读取该方向的方式随规模、指令微调和提示词而变化。
要点速读
- 论文在22个开放权重模型、120个实体、3,600组问题对上测量首个答案对后续答案的影响。
- 作者报告答案会在残差流写入承诺方向，两问题方向相似度可预测耦合（ρ=0.43–0.85）。
- 消融该方向可去除大部分耦合，但读取电路随模型规模、指令微调和系统提示词变化。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/4 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。