即使参考模型高度匹配，文档级成员推断仍受显著个体差异限制。
资讯摘要
论文提出一种受控方法研究语言模型成员推断：作者重跑 OLMo 2 1B 官方 500 亿 token 中期训练阶段，用 7,814 对按领域和难度匹配的文档替换部分训练块，以抛硬币决定插入或留出，并以 AI2 同种子发布的运行作为反事实参照。作者报告：单次暴露会提高未见文档的平均似然但很少能识别出它；参考比值 AUC 为 0.767，在 1% 假阳性率下仅捕获 3.8% 成员；13 对匹配文档可使配对检验在 5% 水平达到 80% 功效。
要点速读
- 作者重跑 OLMo 2 1B 的 500 亿 token 中期训练，用 7,814 对匹配文档做插入/留出对照，并以 AI2 同种子运行作为反事实。
- 参考比值 AUC 为 0.767，但跨领域单一阈值在 1% FPR 下只捕获 3.8% 成员；13 对匹配文档可让配对检验在 5% 水平有 80% 功效。
- 用另一随机种子训练的参考可恢复反事实相对随机水平 92% 的 AUC 优势，而无参考攻击跨领域合并后与随机水平差距在 0.07 以内；完整后训练配方保留 89% 的平均效应。作者将发布检查点、逐 token 对数概率和评估文档。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/3 08:00:27（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。