GLUScope：分析 Transformer 语言模型 GLU 神经元的工具

GLUScope 开源工具按四种激活符号组合分析 GLU 神经元。

资讯摘要

论文提出 GLUScope，一个面向可解释性研究的开源资源，用于分析 Transformer 语言模型中的神经元，重点针对 SwiGLU 等 GLU 类激活函数。作者指出，这类神经元的 gate 与 in 激活可正可负，形成四种符号组合（激活象限），功能可能不同；工具为每个神经元展示四种组合的文本示例及出现频率，并称可借此发现其他工具遗漏的可解释行为。代码同步发布，便于扩展模型、语料或神经元页面。

要点速读

1. GLUScope 是开源资源，面向 Transformer 语言模型神经元可解释性研究。
2. 针对 GLU 类激活，工具展示 gate 与 in 激活四种符号组合的文本示例及频率。
3. 作者报告分析全部四个激活象限可揭示其他工具遗漏的可解释行为，并发布生成代码。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/23 08:00:11（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。