GIFT：用于蒸馏增强推理强化学习的梯度引导过滤

arXiv:2610.30796v1 公告类型：新论文 摘要：训练大型语言模型以完成复杂推理任务，依赖两种互补信号：用于确保正确性的稀疏、基于结果的强化学习（RL），以及用于提供指导的密集、词元级蒸馏。然而，监督信号的互补性并不保证优化过程的兼容性；以模仿为重点的蒸馏可能与结果驱动的 RL 目标发生冲突，而现有混合方法缺乏有原则的解决方案。我们提出了 \textbf{GIFT}（用于蒸馏增强推理 RL 的梯度引导过滤），这是一种直接解决应采用哪些教师更新这一分配问题的新方法。GIFT 进行词元级几何分析，将蒸馏梯度分解为与 RL 梯度\textbf{平行}的分量和与其\textbf{正交}的分量：前者衡量一阶冲突，并提供\textbf{安全性}过滤机制；后者量化新的方向性指导，并提供\textbf{价值}度量。该分解推导出一套有原则的评分规则，用于对词元级指导进行排序。我们将其与渐进式\textbf{覆盖率退火}调度相结合，逐步缩减接受蒸馏的词元数量预算，确保优先舍弃冲突最严重的更新，同时完整保留互补性最强的更新。这使训练能够从密集、经过几何过滤的指导，平滑过渡到收敛时纯粹基于结果的目标。在数学和逻辑推理基准上的大量实验表明，GIFT 在多种模型规模下均持续优于强基线，在高难度数学推理任务上取得了高达 9.5\% 的相对提升。代码：https://github.com/lilifree/GIFT