ORCA：探寻文本到图像扩散中的组合性失效

arXiv:2610.09841v1 公告类型：交叉收录 摘要：文本到图像扩散模型在处理组合式提示词时会出现可预见的失效：属性绑定到错误的对象、空间关系颠倒，以及多对象场景中的数量失准。近期的架构已使用 T5 编码器来增强 CLIP，正是因为 CLIP 的对比嵌入会丢失组合结构，但这些失效依然存在。因此，我们认为，绑定问题并非源于信息缺失，而是源于信息错位：文本编码器保留了组合结构，但其表示空间由语言建模而非视觉塑造，且去噪目标并不直接奖励二者的对齐。我们表明，这种对应关系可以作为显式训练信号提供，相关的跨模态信息集中在自监督视觉特征的低秩子空间中，而引入这些信息只需在扩散训练中加入一个辅助损失。我们的方法 ORCA（Orthogonal Residual Compositional Alignment）通过一个预测器，将扩散 Transformer 的潜在表示与从冻结视觉编码器中提取的低秩目标对齐。该预测器的正交基由 T5 与 CLIP 嵌入之间学习得到的残差参数化，从而为选择视觉读出子空间提供依赖于提示词的信号。我们证明，在给定秩下可恢复的跨模态信息，其上界由视觉编码器协方差在主要分量中的谱质量决定。在三种扩散 Transformer 骨干网络（DiT-B/2、DiT-L/2、U-ViT-L）上，ORCA 在不增加推理开销的情况下，相较于原始基线和 REPA 基线均改善了 FID 和 GenEval；在 DiT-L/2 上，ORCA 训练 200K 步即达到 FID 16.65 和 GenEval 0.291，以一半的训练成本超越了训练 400K 步的最强基线，其中最大的提升集中在属性绑定、空间关系和多对象提示词上。