回到最新动态
论文更新 / THE SIGNAL

跨模型上下文神经反馈揭示LLM激活控制能力有限

Cross-Model In-Context Neurofeedback Reveals (Limited) Activation Control in LLMs

重要性 5.5 AI 辅助整理

少数模型能小幅控制自身激活,但尚不足以骗过激活监测器。

资讯摘要

论文提出上下文神经反馈实验:让“被试”模型每轮看到自身激活得分并尝试提高或降低,以区分任务能力与对自身激活的真实访问。测试五个家族、9B至32B的十个开放权重模型,部分模型能显著改变得分,但不优于同等能力的“写作者”模型;固定预填句子后,十个模型中有三个出现小幅但一致的控制效应。在欺骗监测器测试中,无模型学会降低分数,仅一个模型能提高分数。

要点速读

  1. 实验让被试模型每轮看到自身激活得分并尝试最大化或最小化,测试十个开放权重模型(五个家族,9B–32B)。
  2. 部分模型能显著改变自身得分,但幅度不超过同等能力的写作者模型;预填固定句子后,十个模型中有三个显示小幅但一致的控制效应。
  3. 在欺骗监测器场景中,没有模型学会降低监测分数,但有一个模型能提高分数。

中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/27 08:00:28(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。

阅读 arXiv · cs.CL 原文arxiv.org · 在新窗口打开