五个异构模型激活可对齐，但路由未胜过最强单模型
资讯摘要
论文提出在不合并权重的前提下，用激活值关联五个独立训练、结构不同的冻结模型（四个Transformer与一个状态空间模型）。作者报告置换检验等结果显示模型间存在统计稳健的对应关系，末层最强，状态空间模型最弱；用广义Procrustes分析构建共享空间，末层留出检索准确率0.91–0.93，优于成对线性映射，但中间层更差，且在数学与逻辑符号上失效。基于该空间的路由实验未胜过始终使用最强模型，作者将其作为负结果报告。
要点速读
- 五个冻结模型含四个组织的Transformer和一个状态空间模型，仅用激活值对齐，不合并权重
- 末层留出检索准确率0.91–0.93（随机0.03），优于成对线性映射的0.82–0.85，但中间层不如后者
- 路由实验在四类任务上均未超过始终使用最强模型，作者报告为负结果；全部实验在无GPU的单台笔记本上完成
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/28 08:00:17（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。