SFT 应该学习什么？用于可泛化后训练的条件信息增益

arXiv:2610.12995v1 公告类型：交叉收录 摘要：监督微调（SFT）仍是大语言模型后训练中广泛采用的方法，因为固定的示范可以直接引入期望的推理策略和行为模式。然而，强制模型模仿外部提供的轨迹，也可能干扰预训练已支持的行为，从而限制模型在训练分布之外的泛化能力。近期的动态 SFT 方法根据预测概率、先验支持程度或分布兼容性等模型侧信号，对词元级监督进行重新加权，以缓解这一问题。但与模型的兼容性并不等同于学习价值：当前模型支持程度较低的词元，既可能是不期望的不匹配，也可能恰恰是示范旨在教授的任务特定决策。我们提出 CIG-SFT，这是一种信息论框架，用于估计每个示范词元所携带的、以任务为条件的信息。在教师强制机制下，我们保持标准解答前缀不变，比较冻结的参考模型在能够和不能访问任务输入两种情况下的词元似然。由此得到的条件信息增益，量化了任务本身在多大程度上降低了对示范决策的不确定性。随后，我们将这一信息转化为当前策略的 KL 正则化投影，并推导出等价的标量加权 SFT 目标，其 logit 梯度与投影目标的梯度完全一致。在数学推理和代码生成基准测试中，CIG-SFT 始终优于标准 SFT 和近期的自适应微调基线，尤其在对具有挑战性的评估分布的泛化方面取得了显著提升，同时既不需要额外训练数据，也不需要在线轨迹采样。