CIGA 通过筛选稳定层并融合语义表示，缓解梯度归因的表面形式偏差。
资讯摘要
论文指出，现有全局梯度归因方法在指令微调数据选择中存在表面形式偏差：措辞或格式等语义无关细节的微小改动，会导致归因分数高度不一致。作者提出内容不变的梯度归因框架 CIGA，先筛选对归因有影响且在语义保持扰动下稳定的层，以降低格式噪声，再将归因信号与输入语义表示动态融合。论文报告，在多个基准上，CIGA 在表面形式扰动下排序更稳定，保持下游能力并提升平均表现，同时降低归因成本。
要点速读
- 论文发现现有全局梯度归因方法存在表面形式偏差，语义无关的措辞或格式改动会造成归因分数不一致。
- CIGA 先识别对归因有影响且在语义保持扰动下稳定的层，再动态融合归因信号与输入语义表示。
- 作者报告 CIGA 在多个基准上排序更稳定、平均表现提升，并降低归因成本。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/29 08:00:21（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。