将引导向量用作大语言模型后训练中的训练信号

arXiv:2610.40998v1 公告类型：新论文 摘要：引导向量（SV）是残差流中的方向，在推理时将其添加到隐藏状态中，可以改变大语言模型的行为。以往工作主要将 SV 用作事后控制手段，而我们探讨这些方向能否同样指导后训练期间的参数更新。我们在监督学习（包括 SFT 和蒸馏）以及基于可验证奖励的强化学习（RLVR）中研究这一问题。我们的框架考虑了两种干预方式：在采用教师强制的监督训练中使用隐藏状态钩子，以及在 GRPO 中对错误采样轨迹使用优势修复机制。对于每种方式，我们都分析了三个设计维度：引导方向、施加位置，以及将其与训练相结合所采用的操作。在监督学习场景中，注入 SV 的效果优于普通 SFT 和蒸馏，且收益随离策略差距增大而增加；从思考模式的教师模型进行蒸馏时，提升幅度最高可达 $12\%$。这些收益在三个随机种子下均成立。在强化学习场景中，将正确性对比方向用于错误采样轨迹的优势修复，包括原本梯度为零的全错轨迹组，可以恢复学习信号。该信号能够迁移至留出的数学基准，并可作为一种可组合的辅助信号，与熵感知优势塑形等现有零方差补救方法叠加发挥作用。我们进一步识别了三种失效边界。具体而言，代码生成可能使引导方向失效，跨模型家族的层迁移可能使施加位置失效，而在使用 SV 训练的检查点上于推理时施加 SV，则可能使干预方式失效。综合来看，这些结果表明，引导向量是大语言模型后训练中一种有条件但有效的训练信号。我们的代码可在此处获取。