WildTrace：在真实大规模 LLM 后训练中评估训练数据检测

尽管后训练能够显著提升模型性能，但对海量未公开数据的使用引发了人们对基准污染和版权侵权的担忧。这推动了人们对后训练模型训练数据检测的日益关注。现有的训练数据检测评估通常采用事后构建的基准，这可能引入分布偏移。另一种做法是依赖小规模训练设置进行受控评估，但这类设置与真实的后训练环境存在差异。因此，其报告的性能可能无法准确反映检测方法在现实场景中的有效性。为此，我们提出 \textsc{\method}，这是一个可靠的基准，旨在真实的大规模后训练环境中评估检测方法。基于多阶段流程，\method\space 涵盖了整个后训练生命周期中的各阶段模型，包括 SFT、DPO 和 RL。为了进行可靠的评估，我们针对四项多样化任务构建了特定于模型的评估集，其中包含分布匹配的成员样本和非成员样本，并为其提供可验证的成员资格标签。结果显示，即使是表现最佳的方法，在我们的基准上取得的平均 AUC 也仅为 0.529，接近随机猜测水平（0.5）。此外，我们的分析表明，评估协议会显著影响测得的检测性能。这些发现凸显了在真实场景下开发有效、实用且稳健的检测方法的巨大潜力。