压缩语言模型中的发散如何转化为决策翻转

arXiv:2610.00694v1 公告类型：交叉 摘要：压缩报告通常通过 KL 散度总结压缩语言模型偏离稠密模型的程度；而依赖稠密模型输出的部署则需要知道其决策有多少发生了变化。我们表明，直接回答这一问题的是全变差，而不是 KL 散度。在五个语料库、九类机制上互不相关的扰动，以及 19 个开放模型的 802 个压缩版本和扰动副本上，arg-max token 发生变化的比例（\emph{翻转率}）与全变差的比值相当稳定，中位数为 $1.05$，且无需拟合常数。KL 散度只有通过其平方根以及一个在不同模型和语料库之间变化幅度达四倍的因子才能转换为翻转率，这是因为 KL 散度先对 token 求平均，再开平方；而像 Hellinger 距离这样的、按 token 求平均的一阶统计量则避免了这一问题，但报告很少提供这些指标。因此，在两个分别针对不同模型和语料库的压缩器中，如果它们的翻转率相差至少 $10\%$，KL 散度会在 $11\%$ 的情况下将较小的散度归给决策变化更多的压缩器，而全变差出现这种错误的比例仅为 $1\%$。两项预注册测试揭示了这一结论的边界：在一个留出的代码语料库上，该比值对全部八个模型都成立，而关于 KL 散度的三项预测分别有一半或更多模型未通过；在三个新的、使用真实内核的模型上，该比值在 38 个检查点中的 37 个保持在其区间内，但对其中两个模型，在代码任务上降至 1 以下。在 vLLM 的推测解码中，在教师强制条件下测得的全变差能够预测贪心草稿的接受率，平均相对误差为 $1.1$--$2.4\%$，无需 KL 散度所需的任务特定校准。