蒸馏博弈：自适应评估与高效防御

arXiv:2605.22737v4 公告类型：替换 摘要：蒸馏攻击给模型提供方带来了部署层面的权衡：使模型更有用的同一批输出，也可能让模型更容易被模仿。我们通过受效用约束的教师模型与自适应学生模型之间的极小极大博弈，研究了这一权衡。我们的框架产生了易于处理的单边响应规则：一种自适应评估规则，使学生模型对高价值样本重新加权；以及一种教师模型侧的防御模板，抑制对蒸馏最有用的输出。基于一种低成本的样本价值代理指标，我们提出了 Product-of-Experts（PoE），这是一种简单的、仅需前向传播的防御方法，在生成过程中将教师模型与代理学生模型结合起来。实验证明，自适应评估揭示了显著的被动评估与自适应评估差距：在当前最先进的防御方法上，相比被动评估所显示的结果，自适应学生模型在 GSM8K 和 MATH 上恢复出了多得多的能力。在这一更强的评估下，昂贵防御方法与 PoE 之间表面上的鲁棒性差距大幅缩小，而 PoE 的成本仍显著更低，并且能够保留质量更高的推理轨迹。总体而言，我们的结果表明，强大的蒸馏攻击仍然难以阻止；反蒸馏研究的进展应当依据自适应学生模型，而非被动学生模型进行评估。我们的代码可在以下地址获取：https://github.com/ysfalh/distillation-game】【。