深度剪枝后函数调用与数学能力几乎全失，延长均匀恢复训练是强基线。
资讯摘要
论文研究深度剪枝对小型语言模型智能体能力的影响及微调恢复效果。作者对四个1.2–1.7B指令微调模型（Llama-3.2-1B、Qwen2.5-1.5B、SmolLM2-1.7B、OLMo-2-1B）剪枝并做恢复微调，追踪六项能力。结果显示函数调用与数学推理普遍崩溃，能力受损顺序在四个模型间高度一致；训练哪些参数与用什么数据同样重要；固定预算下均匀延长恢复训练可匹敌或优于规划式分配。
要点速读
- 函数调用与数学推理在四个模型中均大幅下降，保留率仅0.00–0.07，能力崩溃顺序跨模型高度一致（Kendall's W=0.92）。
- 全量微调最后三个块与在所有块加低秩适配器相比，在三个模型家族上封顶平均保留率最多差0.18。
- 计入3.48M试点token后，同等训练token量的均匀恢复在全部家族上匹配或超过各规划变体，并在三个家族上显著更好地保留数学能力。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/4 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。