Jacobian Scopes：LLM 词元级归因的统一几何框架

论文提出词元级归因框架 Jacobian Scopes，并在多数基准设置中优于既有梯度方法。

资讯摘要

论文提出 Jacobian Scopes，一套基于梯度的词元级因果归因方法，用于解释 LLM 的下一词元预测。该方法基于扰动理论与信息几何，量化输入词元对特定 logit、完整预测分布及模型不确定性（有效温度）的影响。作者在指令理解、翻译和上下文学习案例中展示了其揭示隐性政治偏见、翻译策略及时间序列预测机制的能力；在 LAMBADA 与 IWSLT2017 的词元消融忠实度基准上，分布级 Fisher 与 Temperature Scopes 在 12 个模型-数据集设置中的 10 个优于既有梯度归因方法。作者开源了实现并提供云端交互演示。

要点速读

1. 论文提出基于梯度、词元级的因果归因方法 Jacobian Scopes，根植于扰动理论与信息几何。
2. 案例研究覆盖指令理解、翻译与上下文学习，作者报告其可揭示隐性政治偏见与翻译策略。
3. 在 LAMBADA 和 IWSLT2017 词元消融基准、六个 LLM 上，分布级 Fisher 与 Temperature Scopes 在 12 个设置中的 10 个优于既有梯度归因方法；实现已开源并提供交互演示。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。