学习风格，遗忘语义：SFT 和 RFT 在分类任务上的案例研究

arXiv:2610.02437v1 公告类型：cross 摘要：即使所有教师示例在语义上都正确，为什么监督微调（SFT）会比强化微调（RFT）导致更多遗忘？我们在分类任务上研究这一问题：同一语义类别中的不同 token 以不同风格表达相同的语义答案。这些任务共享同一底层语义规则，但其提示分布和教师的风格偏好各不相同。利用一种易于分析的线性-softmax 策略，我们将更新精确分解为语义成分和风格成分。我们证明，在相同策略和提示下，SFT 与 RFT 的语义更新方向平行，但其风格动态不同。从一个不具有类内风格偏好的策略出发，采用精确策略梯度的 RFT 会保持这种对称性；而采用非均匀教师的 SFT 则会在总体更新过程中，沿着非零任务均值产生偏离轴向的风格漂移。基于这一漂移，我们在明确条件下证明了二者之间的差异：对于从同一个完全拟合检查点开始的总体更新，在有限训练区间内，SFT 的遗忘存在严格为正的下界，而 RFT 始终保持零语义错误。在任务序列上的模拟结果支持这些理论预测。