耦合校准与学习：在没有目标域奖励反馈的情况下缓解 LLM 蒸馏中的教师偏差

大语言模型（LLM）蒸馏旨在将强大教师的能力迁移给更小的学生。然而，直接模仿也可能将教师的系统性偏差和错误一并迁移。协变量偏移会使这一挑战尤为突出：此时教师在目标问题上的可靠性尚不确定，且无法获得目标域奖励反馈。我们提出耦合校准与学习（CCL），这是一种 LLM 蒸馏算法，通过 token 级分支将教师校准与学生更新耦合起来，并且仅在源问题上使用奖励反馈。每次迭代首先利用源问题反馈校准教师，然后使用校准后的教师在目标问题上训练学生。更新后的学生反过来为后续校准提供信息。在自回归策略框架下，我们证明，输出学生与 oracle 学生之间的期望平均 Kullback-Leibler 散度会随着迭代次数增加以多项式速率收敛至零。oracle 学生在学生类中最大化真实的参考正则化目标奖励，但该学生类不一定能够表示不受限的最优策略。我们的分析在控制教师校准误差的同时，量化了投影学生梯度更新所取得的进展。我们进一步证明，CCL 与正则化直接匹配之间存在差异：即使教师获得的正则化目标奖励高于每一个学生策略，正则化直接匹配相对于 oracle 学生的误差仍可能保持在远离零的水平。这些结果表明，在无需目标域奖励反馈的情况下，LLM 蒸馏能够通过耦合校准与学习克服持续存在的教师偏差，并恢复最优学生。