论文用JSD构建SAE激活引导并监测偏离
资讯摘要
论文提出一个信息论框架，通过经验特征激活分布分析稀疏自编码器（SAE）激活，核心是激活分布间的Jensen-Shannon散度（JSD），用于衡量生成或干预状态偏离数据集目标分布的程度。作者基于解析散度响应构造指向目标激活分布的引导向量，并可用同一散度监测偏离其他经验分布的情况。论文在问题模式生成任务中展示引导效果，并用teacher-forced脉冲实验显示局部干预会在后续层引发结构化JSD响应，还将其用于安全相关的目标—对比响应特征分析。
要点速读
- 论文以Jensen-Shannon散度量化SAE激活分布与目标分布的偏离，并据此构造引导向量
- 在问题模式生成任务中验证引导效果，teacher-forced脉冲实验显示局部干预引发后续层结构化JSD响应
- 框架被用于安全相关的目标—对比响应设置下的特征分析
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/4 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。