语言子空间干预：捕获、移除与提升的边界

语言子空间干预的准确率提升常以回答语言保真度为代价

资讯摘要

论文在 MATH 与 MGSM 上对四个开放权重 LLM 检验语言子空间干预：Mean-SVD 与作者提出的 DiffPCA 构建的子空间均能捕获大量翻译相关变化，但投影后线性探针仍几乎完美识别语言，说明子空间未穷尽语言信息。在 Qwen2.5-7B 上，提升 MGSM 准确率最多的干预会牺牲回答语言一致性，仅一种干预使联合准确率小幅提升 1.60 分；仅改提示词也能复现准确率增益但严重损害语言保真度。

要点速读

1. Mean-SVD 与 DiffPCA 子空间都捕获大量翻译相关变化，且随模型深度的模式相似
2. 投影去除子空间后，线性探针仍几乎完美分类语言，说明语言信息未被穷尽捕获
3. Qwen2.5-7B 上仅一种干预使联合准确率提升 1.60 分，准确率增益常伴随语言保真度下降

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/5 08:00:38（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。