反事实测试时增强去除语言模型捷径

论文提出测试时反事实增强方法去除语言模型捷径

资讯摘要

论文研究语言模型的测试时捷径去除问题，提出反事实测试时增强（CTTA）方法族：借助辅助模型对输入生成改变捷径值的反事实编辑，再对 LLM 在这些编辑上的预测做加权平均。作者证明最优捷径不变预测器属于该族，并给出权重可由 token 概率获得的条件及假设检验，进而提出 Select-CTTA。作者报告其优于测试时基线，接近在捷径平衡数据上微调的模型。

要点速读

1. 论文提出 CTTA 方法族，用辅助模型生成反事实编辑并对 LLM 预测加权平均
2. 作者证明最优捷径不变预测器属于该族，并刻画其权重
3. 提出 Select-CTTA 聚合方法，作者报告其优于测试时基线并接近捷径平衡数据微调模型

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/28 08:00:17（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。