超维探针：用向量符号架构解码LLM表示

论文提出用向量符号架构统一LLM输入与输出特征的可解释性探针。

资讯摘要

论文提出 Hyperdimensional Probe，一种结合符号表示与神经探针的混合监督探针，借助向量符号架构（VSA）与超向量代数，统一了监督探针的自上而下可解释性、SAE 的稀疏代理空间与面向输出的 logit 分析。作者报告该方法在不同 LLM、嵌入尺寸与配置下均能提取语义信息，并在输入补全与问答生成两类场景中给出概念层面的观察。

要点速读

1. 论文将 Hyperdimensional Probe 定位为混合监督探针，结合 VSA 与超向量代数，整合监督探针、SAE 与 logit 分析三种思路。
2. 作者报告该方法在不同 LLM、嵌入尺寸和配置下持续提取有意义的语义信息，覆盖输入补全与问答式文本生成两类场景。
3. 论文称基于 VSA 的探针可绕开 logit 分析受词表限制的问题，并缓解 SAE 在概念特征空间受限时的噪声。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/23 08:00:11（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。