开放书本评分主要测阅读行为，而非适配器存储的知识
资讯摘要
论文在Llama-3.1-8B-Instruct上为150篇维基百科文章各训练一个LoRA适配器，发现开放书本评分主要反映所有适配器共有的阅读行为：换用其他文档训练的随机适配器仍能获得专家适配器相对基座模型82%的开放书本优势，但在不提供原文的完形填空探针上仅保留2%，与零无法区分。作者报告专家适配器完形回忆比基座高0.094，说明内容确实进入权重；按权重空间邻近或文本嵌入挑选适配器在30条查询测试中与随机选择无差异。16篇以上文档时正确缩放的合并可恢复87%–89%开放书本优势，但仅12%–16%完形优势。论文另报告四个静默错误。
要点速读
- 随机适配器可复现专家适配器82%的开放书本优势，但完形探针优势仅2%，与零无法区分
- 专家适配器完形回忆比基座模型高0.094，更新几何与所读文档相关
- 按权重邻近或文本嵌入选适配器在30条查询测试中与随机选择无差异；16篇以上合并恢复87%–89%开放书本优势、12%–16%完形优势
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/25 08:00:13（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。