论文：将引导向量用作LLM后训练信号

论文提出把引导向量用作后训练信号，并报告蒸馏最高提升12%。

资讯摘要

论文研究引导向量（SVs）能否在LLM后训练中指导参数更新，而非仅作推理时的后验控制。作者在SFT、蒸馏和RLVR中测试两种干预方式：监督训练时在隐藏状态上挂接，以及在GRPO中对错误轨迹做优势修复。作者报告监督设置下SV注入优于普通SFT与蒸馏，蒸馏thinking-mode教师时提升最高达12%；RL中正确性对比方向可恢复学习信号。论文还指出代码生成、跨家族层迁移和推理时应用三类失效边界。

要点速读

1. 论文在SFT、蒸馏和RLVR中考察引导向量作为训练信号，而非仅作推理时控制。
2. 作者报告监督设置下SV注入优于普通SFT与蒸馏，蒸馏thinking-mode教师时提升最高12%，并在三个随机种子下成立。
3. RL中把正确性对比方向用于错误轨迹的优势修复，可恢复零梯度全错组的学习信号；论文同时列出代码生成、跨家族层迁移和推理时应用三类失效边界。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/3 08:00:27（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。