arXiv cs.LG精选72

控制 Polar 暴露以延迟 Diffusion Models 中的记忆化

Controlling Polar Exposure to Delay Memorization in Diffusion Models

· 9天前

精选理由

提出自适应控制,延缓扩散模型记忆复制,保持质量并扩大安全使用窗口。

AI 摘要

arXiv:2610.02780v1 公告类型:新 摘要:扩散模型在复制训练样本之前就能达到有用的样本质量,但快速优化可能通过加速特定样本拟合来压缩这一泛化窗口。我们通过更新几何研究了这一现象,并提出 Quality-Gated De-whitening(QGD):一种保留快速 Polar 更新前缀、逐步恢复固定增益动量的控制器。我们的随机特征分析区分了由协方差控制、曲率均衡和幅度控制的记忆化时钟。在谱对齐假设下,我们建立了一个有限暴露条件,在该条件下,固定增益尾部能够恢复与数据集规模成比例的延迟。QGD 通过经验证的质量门控、有界衰减包络和因果复制反馈来实现这一原则。立即切换是其保守极限;渐进式控制则在延迟复制与持续提升质量之间取得平衡。我们将 QGD 与 Copy-Budgeted Selection(CBS)结合,对冻结的检查点系列执行同步二项校准,随后对发布的检查点进行全新的评估。在包含 2,000 张图像的 CIFAR-10 子集上,QGD 保持了 Polar 基线达到目标质量所需的时间,同时将其有效区间扩大 8.32 倍,并将常见检查点复制降低 75.9%。在校准方式相同且质量评估独立的情况下,QGD 的 FID 为 75.56,而使用相同选择器的 SGD 为 79.37。暴露量匹配的对照实验、独立的检测器审计,以及向流匹配和舞蹈生成的迁移结果表明,自适应暴露控制是改善质量—复制权衡的一种实用途径。

查看原文(arXiv cs.LG)