论文用激活几何碎片化作为判断LLM是否真正掌握概念的免攻击代理指标
资讯摘要
论文提出“无知几何”框架，通过比较概念查询与匿名化改写之间的隐藏状态差异（anon-vectors）的几何一致性，判断模型是否真正掌握某概念：真实知识形成低熵紧密簇，无知则导致几何碎片化。作者报告在三个模型家族的十个指令微调LLM上，碎片化指标能区分已知与未知概念；在遗忘后，其几何与四类攻击、五种遗忘算法下的对抗恢复相关，但方向取决于攻击方法。分层分析显示不同对抗机制在不同深度利用该几何。
要点速读
- 框架以anon-vectors的几何一致性衡量知识：真实知识呈低熵紧密簇，无知表现为碎片化
- 在三个模型家族的十个指令微调LLM上，碎片化指标可区分已知与未知概念
- 遗忘后碎片化几何与对抗恢复相关，但相关方向依攻击方法而异；分层分析显示不同攻击机制在不同深度利用该几何
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/5 08:00:38（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。