从自由能视角检测大型语言模型中的预训练数据

检测大型语言模型中的预训练数据颇具挑战，因为较高的似然既可能反映模型接触过相应训练数据，也可能源于较强的泛化能力。在预测损失与预测熵构成的联合空间中，仅依赖似然的检测器使用水平边界，可能会将易于预测的非成员误判为成员。受此启发，我们引入了一种倾斜边界，根据预测熵对预测损失进行相对评估。我们的分析表明，熵校正能够在保留预期成员信号的同时降低其方差，从而提升标准化的成员与非成员分离度。进一步地，我们将均值—方差分析扩展到熵差均值非零的更一般情形。有趣的是，这一熵调整后的得分具有 Helmholtz 自由能的解释，由此形成 Energy Transfer Detection（ETD），从宏观剩余自由能转移的视角审视预训练数据检测问题。大量实验表明，ETD 取得了最佳的平均检测性能，使平均 AUROC 提升最高达 3.5%，TPR@5%FPR 提升最高达 5.1%，同时在多种设置下保持稳健。