你的离散图扩散模型正在暗中记忆

离散图扩散模型（GDMs）在马尔可夫噪声模型下，通过向节点和边独立添加噪声来破坏图结构。在没有节点特征的无条件设置下，仅用一张图训练的等变去噪器能够生成新颖的图，而边重叠度和 WL 核相似度等样本级指标并未发现记忆的证据。在本研究中，我们质疑这一观点，并首次表明图扩散模型确实会出现记忆现象。通过分析在双块随机块模型（SBMs）上训练的 GDMs 的逆向扩散轨迹，我们发现了强烈的训练数据偏向：与留出的测试图相比，模型几乎能够完美恢复被噪声破坏的训练图。我们将其称为条件记忆，因为它只有在逆向轨迹以被噪声破坏的训练图为条件时才会显现，而在推理过程中并不明显。这一现象伴随着不断扩大的泛化差距：训练损失持续下降，而留出图上的损失却不断上升，且早停无法缓解这一现象。记忆的出现总是先于生成图中社群结构的形成，因此，在此之前的所有检查点都只能生成没有结构的图。这种行为在我们测试的所有节点规模下都成立。