零假设才是难点：生成模型记忆的精确检验

arXiv:2610.00251v1 公告类型：新 摘要：生成模型的记忆审计通常将相似度分数与阈值进行比较，却没有零分布，因此其支持的结论可能是错误的。按照 MemBench 的规则，该基准测试中的缓解措施大致使 Stable Diffusion 的记忆减少了一半；而在控制假发现的审计中，在随机提示词扰动下，获得认证的图像中有三分之二不再被检测到，在注意力重缩放下有六分之五不再被检测到，在嵌入优化下则全部不再被检测到。将该领域的数据复制测试与其自身的零假设进行比较后发现，24 个什么都没有复现的生成器中，有 10 个会被标记出来。我们认为，对于记忆问题，零假设才是难点，并提出了两个零假设。对于整个模型，在给定其生成样本的条件下，训练图像与留出图像是可交换的；对它们重新标记即可进行置换检验：当留出图像是随机划分得到的时，该检验对任意统计量都是精确的。在这一检验下，最近邻偏好仍会在这 24 个生成器中的 7 个上触发，而仅限于近重复尺度的计数在其中一个上也不会触发（McNemar p=0.016）。对于单张图像，自然零假设存在两重、且可测量的失败：将一张图像置于随机图像中进行排序，会在 2,365 个对照中产生 596 个假发现；对独立生成结果进行重采样，则会使零分布的范围缩窄至原来的三分之一。以匹配对照进行校准后，在 5% 的假发现率下，该审计为 61 张 MemBench 图像中的 36 张提供认证；在校准划分中，留出对照仅有 0.01% 获得认证；在这一基准测试中，每张图像生成两次即可得到这一数量。经过校准的最大值统计量能够捕捉偶发而非典型的复制行为，并为 46 张图像提供认证。对于限定尺度的统计量，我们推荐使用 Intersection Euler Characteristic Profile 的小尺度质量；该统计量还可以统计被复制的不同图像数量，并检验两个模型是否复制了相同的图像。