SFT在激活几何中留下可复现特征

SFT在激活几何中的位移可复现，但需按运行间噪声校准。

资讯摘要

论文在Qwen3-1.7B的稀疏共激活图上考察后训练带来的模型差异，发现两次LoRA-SFT重跑之间的距离超过各自与基座距离的一半，说明单次base-to-post对比难以区分真实效应与运行间噪声。作者按同一配方的运行间波动带对对比打分，并报告base→SFT相对四次独立LoRA-SFT运行间平均距离偏移17.8个成对距离标准差，该估计器在Llama-3.1-8B上复现。

要点速读

1. 两次LoRA-SFT重跑在稀疏共激活图上的距离超过各自与基座距离的一半，模型diff需对照自身配方的运行间波动带。
2. base→SFT的图位移超出四次独立LoRA-SFT运行间平均距离17.8个成对距离标准差，预注册估计器在Llama-3.1-8B上复现。
3. 29步下四次SFT与四次DPO的位移区间不重叠，间隔为两臂离散度的5.0倍和5.6倍；DPO带计数未显示一致的剂量顺序。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/23 08:00:11（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。