低秩分层合并实现高效长到短推理

论文用二阶曲率信息做长到短模型合并，报告准确率与长度双改善。

资讯摘要

论文提出免训练框架低秩分层合并（LHM），用轻量二阶曲率信息替代线性插值与一阶激活统计，以捕捉损失景观对参数位移的响应。LHM 包含低秩 Hessian 近似、层二阶敏感度指数 LSOS 与双约束系数映射 DCCM 三部分。作者报告在 1.5B 和 7B 模型的六个数学基准上，LHM 优于 ACM-TIES 和 ORCA，准确率提升超 4%，输出长度相对长思维链模型最多减少 93.1%。

要点速读

1. LHM 为免训练框架，用 Hutchinson 估计器在随机输入上估计逐层 Hessian 迹，无需任务特定数据。
2. LSOS 结合 Hessian 迹与任务向量范数衡量逐层融合难度，DCCM 将其转为层自适应合并系数。
3. 作者报告在 1.5B 与 7B 模型的六个数学基准上准确率提升超 4%，输出长度最多减少 93.1%。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/5 08:00:38（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。