基于激活值的上下文学习主动学习：挑战与发现

论文发现激活值信号无法用于上下文示例选择。

资讯摘要

论文检验模型激活值能否为上下文示例选择提供细粒度信号，在 Llama-3.2-3B 与 Qwen2.5-3B 基座模型上，对分类和生成数据集分析基于 MLP 激活的深度主动学习方法，并考察不同注意力掩码策略的影响。作者报告负结果：MLP 与嵌入层输出（从 massive activations 或前四阶矩角度）与示例质量或任务表现不相关，所有任务和模型上 Spearman 相关系数绝对值最高仅 0.33，因此这类基于激活的采样不宜用于上下文学习。作者推测原因可能是叠加现象，并提出 Sparse Autoencoders（SAEs）作为未来方向。

要点速读

1. 论文在 Llama-3.2-3B 和 Qwen2.5-3B 上测试基于 MLP 激活的深度主动学习用于上下文示例选择。
2. 作者报告负结果：激活值与示例质量、任务表现不相关，Spearman 相关系数绝对值最高 0.33。
3. 作者推测叠加现象是原因，认为 Sparse Autoencoders（SAEs）可能是值得探索的方向。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/4 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。