用行为反事实解读模型推理过程

论文用行为反事实定位提示影响模型推理的内部位置

资讯摘要

论文提出一种行为反事实方法，用于定位和分析干预如何影响模型推理：在固定回复的前提下，训练模块编辑残差流，使源提示与反事实目标提示下的输出分布KL散度最小。作者报告该方法比标准激活重建目标更有效地恢复反事实行为，其归因结果可识别因果重要位置。在Gemma-4-E4B-it与DeepSeek-R1-0528-Qwen3-8B的案例中，研究提示如何影响推理，即使模型未在语言上承认该提示。

要点速读

1. 方法通过最小化源提示与反事实目标提示下固定回复输出分布的KL散度来训练编辑残差流的模块
2. 作者报告匹配输出分布比标准激活重建目标更能恢复反事实行为，归因可定位因果重要位置
3. 案例研究分析Gemma-4-E4B-it和DeepSeek-R1-0528-Qwen3-8B，发现问题陈述与填充token处的表征中介了提示影响的大部分

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/24 08:00:37（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。