语言模型扰动失败的方向敏感机制

论文用方向敏感模型预测语言模型改写失败，但解释仍不完整。

资讯摘要

论文提出一种方向敏感、相对读出层的语义脆弱性解释：不同语言改写可共享几何与读出关系，却不共享与输入无关的失败方向。作者用纵向-横向分解与紧凑的储备-传输模型，在 Qwen3-32B 和 Gemma 4 31B 上预测留出家族与样本的失败，并报告向 ReClor 的迁移依赖参数化。匹配干预显示方向携带标量几何之外的因果信息，但失败很少跨选项顺序持续。

要点速读

1. 论文提出方向敏感、相对读出层的语义脆弱性框架，用储备、表示变换与响应对齐描述失败过程。
2. 紧凑的储备-传输模型在 Qwen3-32B 与 Gemma 4 31B 上预测留出家族和样本的失败，向 ReClor 的迁移有用但依赖参数化。
3. 匹配干预表明方向携带超出标量几何的因果信息，但自然失败改写很少跨选项顺序持续。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/27 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。