论文为 J-lens 为何偏好相干特征给出数学解释。
资讯摘要
论文针对 Anthropic 提出的可解释性工具 Jacobian lens（J-lens）建立数学理论，指出该工具会优先识别“相干特征”，即类似主导的、空间相干的 Lyapunov 模态的方向：沿这些方向的微小扰动会跨层放大，在 token 位置上大致保持恒定，并在不同上下文中保持一致。作者在 Bayes filter 与 toy transformer 上验证分析，并提出可强调不同时间尺度信息处理的 ω-J-lenses。
要点速读
- 论文提出 J-lens 的数学理论，认为其偏好识别具有跨层放大、跨位置稳定、跨上下文一致性质的相干特征方向。
- 作者在 Bayes filter 和 toy transformer 上验证分析，两者均针对 HMM 输出的下一个 token 做最优预测。
- 论文提出 ω-J-lenses，用于强调 LLM 中不同时间尺度的信息处理。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/27 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。