蒸馏防御在强化学习后很容易被攻破

蒸馏攻击会复制闭源大型语言模型的推理能力，使恶意行为者能够以低成本复现最先进的性能。攻击者系统性地收集大量前沿模型的推理轨迹，然后用这些轨迹训练（即“蒸馏”）自己的模型。现有针对蒸馏攻击的防御通常在蒸馏后立即进行评估，这隐含地假设攻击者不会进一步训练其模型。在本文中，我们认为，一个更现实的威胁模型应包括蒸馏后的强化学习进一步训练。错误设定的威胁模型可能带来虚假的安全感——一些在蒸馏后看似有效的防御，可能会在随后的强化学习后被攻破。实际上，强化学习降低了蒸馏攻击生效的门槛。我们表明，简单攻击可以利用当前 APIs 中容易获取的数据，从现有闭源语言模型中窃取推理能力，带来与提取完整隐藏轨迹的更复杂攻击相当的推理提升。结果表明，任何泄露足够信息以重构近似推理轨迹的蒸馏防御都很可能无效。最后，我们讨论了更广泛的影响以及可能更有效的批级蒸馏防御。