扩展 Transformer Energy-based Models 以实现高质量图像合成

arXiv:2610.31889v1 公告类型：新 摘要：能量基模型（EBM）是一类灵活的生成模型，将概率建模与生成过程解耦。这种解耦直接支持组合式生成和推理时扩展：只需增加采样步数，就能进一步提升样本质量。然而，高维采样的严重挑战以及深层架构中的训练不稳定性，使 EBM 受限于低维场景。为解决这些瓶颈，我们提出 Transformer Energy-Based Model（TEM），一种完全在潜空间中运行的可扩展 Transformer 能量函数。在此骨干网络之上，我们提取多个层的能量并将其求和，从局部纹理到全局语义，组合互补的约束。此外，以下两个组件使该方法能够在大规模条件下实现高质量生成：Positive Representation Alignment（PRA），利用视觉基础模型对 TEM 的中间表示进行监督；以及先进的采样策略，在推理阶段提升样本质量。TEM-XL 在类别条件 ImageNet 256$\times$256 上取得了 3.82 的 FID-50K，且未使用无分类器引导，表明对比式 EBM 能够生成高保真图像。在 ImageNet 512$\times$512 上，TEM 取得了 8.24 的 FID-50K，证明该方法能够扩展至更高分辨率。我们进一步验证了 EBM 的核心优势：组合式生成、零样本图像修复以及分布外检测。