回到最新动态
交叉发布 / THE SIGNAL

语言模型成员信号机制分析:从表征到读出

From Representation to Readout: Mechanistic Analysis of Membership Signals in Language Models

重要性 5.0 AI 辅助整理

论文用三项指标区分成员信息在表征与读出环节的暴露。

资讯摘要

论文对语言模型中的成员推断信号做机制性研究,提出可解码信息分数、被使用信息分数与读出可达性差距(DUG)三项互补指标,分别量化内部表征中可解码的成员信息及其在模型读出环节的暴露程度。作者报告,在监督微调下成员特异性效应同时出现在可解码信息量与读出中,而基于强化学习的成员推断方法中该效应主要体现在读出;激活修补将效应定位到中间层。在可验证奖励强化学习污染场景中,行为变化可在基于似然的成员信号未上升时出现。

要点速读

  1. 论文提出DUG三项指标,分别衡量内部表征可解码的成员信息与读出暴露程度
  2. SFT下成员效应见于可解码信息量与读出,RL成员推断方法中主要见于读出
  3. 激活修补将成员特异性效应定位到中间层;RLVR污染下行为变化可不伴随似然成员信号上升

中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/3 08:00:27(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。

阅读 arXiv · cs.AI 原文arxiv.org · 在新窗口打开