LM数据归因设计空间研究

论文用受控基准诊断归因失败，并提出梯度与聚合修正。

资讯摘要

论文聚焦语言模型数据归因的评估设计空间，提出受控归因基准CATT：用完全虚构的知识微调模型，获得无歧义的真值，从而逐项改变文档冗余、词汇干扰等配置。作者报告冗余与干扰会持续降低归因表现；真正因果证据在文档内高度局部化，而按整篇文档平均归因分数会稀释证据。改用负对数几率梯度并只聚合最高分token，可在多个基线上将真值召回提升35至72个百分点，该修正也适用于FTRACE-TREX，反事实重训练性能最高提升4.9倍。

要点速读

1. 论文提出CATT基准，用虚构知识微调模型以获得明确归因真值，并逐项控制数据集配置。
2. 作者报告文档冗余和词汇干扰会一致地削弱归因性能。
3. 用负对数几率梯度替代交叉熵梯度并只聚合最高分token，真值召回提升35至72个百分点，FTRACE-TREX反事实重训练性能最高提升4.9倍。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。