SAE特征反映上下文相关的答案竞争，而非错误答案机制。
资讯摘要
论文研究稀疏自编码器（SAE）特征与模型错误之间的关联能否上升为因果影响。作者在八个数据集上分析Gemma 3 1B与4B模型及Gemma Scope SAE，提出先过滤与格式、内容伪影高度相关的特征，再用因果干预评估剩余特征。结果显示SAE激活含有关于错误与不确定性的预测信号，筛选后的特征干预能带来更大边际变化和更高纠错率，但答案翻转罕见，且在保持语义的提示格式与选项顺序变化下效应方向不稳定。
要点速读
- 论文提出一套流程，先剔除与提示、答案排列等格式和内容伪影高度相关的SAE特征，再对剩余特征做因果干预。
- 在八个数据集上，筛选特征在问题和选项片段干预时产生更大绝对边际变化与更高错误转正确率，优于随机特征。
- 答案翻转很少见，且效应方向在保持语义的提示格式与答案顺序变化下不稳定；适配的HalluSAE基线边际变化更大但依赖受污染特征，纠错率无显著提升。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。