语言模型是否信任自身解释：功能一致性研究

论文发现不同LLM家族的自解释功能一致性存在差异。

资讯摘要

论文提出“功能自动一致性”框架，检验LLM在文本分类中标注的关键词是否与其实际预测行为一致：若这些词确为决定性因素，隔离、删除或语义反转它们应引起系统性预测变化。作者用充分性、全面性和反事实三类指标，在IMDB与Steam评论上测试GPT-4o-mini、Gemma3、Granite8B和DeepSeek。结果显示GPT-4o-mini在各指标上符合预期，Gemma3与Granite8B仅在充分性下保持连贯，DeepSeek变体出现结构性偏差。

要点速读

1. 论文提出基于自动一致性原则的实验框架，用充分性、全面性、反事实性指标评估解释与模型行为的一致性。
2. 实验覆盖IMDB和Steam评论数据集，涉及闭源GPT-4o-mini与开源Gemma3、Granite8B、DeepSeek。
3. 作者报告GPT-4o-mini在各指标上符合预期，Gemma3和Granite8B在更强干预下失去一致性，DeepSeek变体或未保持充分性、或在全面性与反事实性下反应过度。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/27 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。