论文用两个探针刻画大模型语义的局部各向异性邻域结构。
资讯摘要
该论文研究大语言模型语义的局部几何结构，用跨语言探针与细化探针在 Gemma 4、Llama 3.2、Qwen 2.5、Pythia 四个解码器模型上评估，并由盲测人工判断验证。作者报告四项跨模型一致的发现：均值池化并去除主方差方向后，句对按语义相关度分层排序；语义因子围绕不变核心组织；细化使表示向更紧邻域定向位移；句级与词级读出呈现互补几何。
要点速读
- 论文在 Gemma 4、Llama 3.2、Qwen 2.5、Pythia 四个架构不同的解码器模型上评估两个受控探针。
- 跨语言探针以语言为扰动，区分精确语义匹配、同因子实现、邻近概念与域外对比；细化探针区分语义收窄与高概率修饰性扩展。
- 作者报告四项跨模型一致发现，包括细化导致表示向更紧邻域定向位移，以及句级与词级读出的互补几何。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/24 08:00:37（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。