嵌入预测有助于图像生成

arXiv:2610.02203v1 公告类型：cross 摘要：在扩散 Transformer 中，类别标签或文本提示词只被嵌入一次，并且在每个去噪步骤中重复使用相同的条件。我们探讨了预测得到的嵌入是否也能充当这一条件。Next-Embedding Predictive Autoregression (NEPA) 训练 Transformer 预测序列中的下一个连续嵌入。在生成过程中，干净图像位于噪声图像之后，因此其嵌入就是条件和噪声图像之后的下一个嵌入。我们使用 Multi-Embedding Prediction 训练 NEPA 模型一次性预测所有这些嵌入；在 Embedding Conditioned Generation 中，DiT 生成器以这些预测结果为条件，并在每个去噪步骤重新计算预测结果，使条件信号能够适应当前的噪声状态。我们在类别条件式 ImageNet $256\times256$ 上开展实验，研究生成器的条件、Multi-Embedding Prediction 的设计，以及两个模型的扩展性。NEPA 模型会在每个采样步骤额外增加一个网络；借助该模型并结合 REPA，我们的最终模型 NEPA-DiT-XL 在使用约三分之一 REPA 训练计算量的情况下，达到了 1.32 的 FID。