海报：LLM 蒸馏推断的初步研究

arXiv:2610.12137v1 发布类型：cross 摘要：未经授权的模型蒸馏，即利用专有大型语言模型（LLM）的输出训练模型，正日益成为模型提供商面临的威胁。我们研究蒸馏推断：判断一个可疑模型是从另一个模型蒸馏得到的，还是独立训练得到的。我们将这一问题表述为假设检验，并通过训练影子模型来估计每个假设下的预期行为：蒸馏影子模型从教师模型的推理轨迹中学习，而独立影子模型仅从参考答案中学习。审计者衡量每个模型对教师模型推理输出的预测接近程度，然后利用影子模型将可疑模型的得分转换为经过校准的 p 值。在一项以 Qwen2.5-7B 为教师模型、以 Llama-3.2-3B 为可疑模型的初步研究中，我们的检验在显著性水平为 0.02 时达到了 1.0 的真阳性率。这些结果表明，利用蒸馏推断检测蒸馏攻击是可行的。