RefRoute：通过紧凑残差条件化与空间路由，将条件化成本与参考图像解耦

arXiv:2610.07720v1 公告类型：交叉收录 摘要：多参考图像生成需要在将多个主体组合成连贯场景的同时，保留各主体的外观。然而，现有扩散 Transformer 通常将参考图像编码为密集的视觉 token 网格，并通过全局注意力进行联合处理，导致条件化成本随着参考图像数量和分辨率的增加而不断上升。我们提出 RefRoute，该框架通过两种互补机制，同时降低参考表示成本与注意力开销。紧凑残差条件化将低分辨率潜在 token 与从全分辨率像素中提取的轻量级残差特征相结合，在保留细粒度外观线索的同时减少参考 token 数量。条件路由和注意力路由将参考 token 与其指定的目标区域对齐，并限制不同参考图像之间的交互，同时允许跨越区域边界选择性地访问参考信息，以实现整体场景融合。我们进一步推出了用于训练多参考图像生成模型的 RefRoute-Data，以及涵盖人物、物体及混合构图、每个样例包含 10–17 张参考图像的基准 ManyRef100。经过多参考图像微调后，RefRoute 在 ManyRef100 上的总体 Weighted-Ref-VIEScore 达到 36.06，而 FLUX.2-Klein-9B 为 8.88。单独的推理成本评估表明，随着参考图像数量增加，RefRoute 的延迟增长明显更慢：在使用 16 张参考图像时，我们的 50 步和 4 步配置相较于各自对应的 FLUX 基线，分别实现了 $18.3\times$ 和 $14.2\times$ 的加速。这些结果表明，紧凑参考表示与空间路由注意力是实现可扩展多参考图像生成的有效方法。