微调MoE模型会记忆专家路由路径，且可被隐蔽恢复。
资讯摘要
论文提出，微调后的MoE大模型会“结构性记忆”：不仅记住训练数据，还记住处理数据所用的内部路由路径，形成独特的专家路由指纹。作者报告该现象仅需少量样本即可稳定出现，强度受可训练模块选择影响；攻击者仅凭路由与输出logits、通过无条件生成即可隐蔽恢复这些路径，无需了解微调数据或流程。在联邦聚合点、边云接口、多租户监控等分布式场景中，路由信息暴露会放大该风险。
要点速读
- 论文称结构性记忆在少量样本下即可一致出现，强度受可训练模块选择影响。
- 仅用路由和输出logits、通过无条件生成即可恢复记忆的专家路径，无需知晓微调数据或过程。
- 传统成员推断指标从专家路由视角看无法识别这类记忆数据，作者提出结合参考模型尾部似然与复杂度感知归一化的复合指标以提升检测。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/3 08:00:27（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。