CACFG：曲率感知的无分类器引导与最优控制

扩散模型通过学习逆转一个固定的破坏过程来生成样本，而无分类器引导（CFG）是根据目标类别或提示词对这一过程进行条件控制的标准机制。CFG 可以采用不同的引导强度；虽然更高的引导强度能够提升图像质量和条件对齐程度，但过高的引导强度会损害图像质量与多样性。此外，CFG 违背了具有理论依据的扩散采样动力学，而现有关于其为何在违背该动力学的情况下仍然有效的解释，要么在底层理论上存在分歧，要么无法推广到实践中使用的确定性采样器。我们同时解决这两个问题。首先，我们将 CFG 采样表述为一个连续时间最优控制问题，把采样轨迹视为一系列控制量，其选择目标是最大化满足期望条件的概率。对由此得到的 Hamilton--Jacobi--Bellman 方程进行求解后可以发现，在采用无约束控制集并使用特定路径代价时，可以恢复出 CFG。我们认为，这种缺乏约束的设定正是 CFG 在高引导强度下失效的原因，因为它允许采样路径任意远离当前的图像估计。为解决这一问题，我们提出曲率感知的 CFG（CACFG），将控制集约束在一个由训练变分自编码器时所采用的高斯正则化确定的超球面内。我们表明，CFG 采样产生的控制输入经常违反这一界限；并且在不同的扩散模型、数据集和引导调度下，与常规 CFG 相比，CACFG 在中高引导强度下都能实现更优的生成质量，同时质量—多样性权衡也更加缓和。