StructLens：用最大生成树分析语言模型表征结构

StructLens 用最大生成树揭示模型表征的层级结构组织。

资讯摘要

论文提出 StructLens 框架，基于残差流中的语义表征构建最大生成树，借鉴依存句法分析中的树表示，从整体结构视角总结表征空间中的 token 关系。作者报告，中间层的局部跨度组织最强；对预训练检查点的分析显示，较小的局部单元在预训练中更早可被检测到，较大单元则较晚出现。代码已在 GitHub 开源。

要点速读

1. StructLens 在残差流语义表征上构建最大生成树，用于分析模型内部表征的组织方式。
2. 作者报告中间层的局部跨度组织最强，且预训练中小局部单元先于大单元出现。
3. 代码已在 github.com/naist-nlp/structlens 提供。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/23 08:00:11（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。