干预式训练减少上下文内省中的因果绕过

论文提出干预式训练可减少内省中的因果绕过。

资讯摘要

论文研究语言模型对内部信号的内省能力，指出常规SFT训练可能产生“因果绕过”，即自我报告依赖与报告对象相关但无因果关系的信号。作者在三种低层信号类型和八个语言模型上训练数百个内省器，提出干预式训练，让模型报告反事实扰动后的数值。作者报告该方法能更准确内省内源与注入信号，尤其在分布外数据上，且机制可跨token位置泛化并随数据量扩展。

要点速读

1. 论文指出直接SFT训练会导致因果绕过，自我报告可能依赖与对象相关但无因果关系的信号。
2. 作者提出干预式训练，训练模型报告反事实扰动后的低层信号值。
3. 作者报告该方法提升内源与注入信号的内省准确度，在OOD数据上尤为明显，并随数据量扩展。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。