自动可解释性评测数据存在结构性捷径

自动可解释性评测数据含位置与标记线索，不读解释也能高分。

资讯摘要

论文指出，自动可解释性评测所用的数据本身带有结构性线索，模型无需阅读解释即可得分。作者在 Neuronpedia 存储的 500 个 GPT-2 small 特征 fuzzing 运行中发现，91.3% 的激活示例被裁剪为峰值位于中心 token；仅凭“中心 token 被标记”这一规则即可达到 0.979 平衡准确率，高于存储的 LLM 评分器的 0.838。OpenAI 模拟基准中，按序列顺序预测前五条的相关性为 0.227，高于 GPT-4 已发布模拟器的 0.160。作者建议在同一批样本上同时报告最佳无解释规则的成绩。

要点速读

1. 在 500 个随机 GPT-2 small 特征的存储 fuzzing 运行中，91.3% 的激活示例峰值位于中心 token，仅凭中心标记规则即达 0.979 平衡准确率，存储的 LLM 评分器为 0.838。
2. 线索随流水线变化：当前 delphi 在 fuzzing 负例中总标记同一槽位，全上下文运行则用更多 token 标记负例。
3. OpenAI 模拟基准按神经元最强激活序列排序，预测前五条得 0.227 汇总相关性，GPT-4 已发布模拟器为 0.160（事后计算）。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。