学习读取 Diffusion Transformers 中的上下文词元

多模态 Diffusion Transformers（MM-DiTs）在整个生成过程中联合处理视觉和文本表示。这些模型通过多模态注意力反复更新文本词元，形成动态的上下文词元，但其功能尚未得到充分理解。在本文中，我们提出了一个通过自然语言询问来读取这一上下文空间的框架。我们训练了一个轻量级瓶颈网络，将中间上下文词元映射到冻结的 Large Language Model（LLM）的输入空间，使 LLM 能够直接根据这些隐藏表示回答有关正在生成图像的问题。我们的读取器揭示出，上下文词元编码了正在生成场景的丰富全局表示：与特定生成相关的语义——包括提示词中未明确指定的属性——在去噪过程的很早阶段就能被读取，而越来越细粒度的细节则会随着时间推移逐渐变得可读取。值得注意的是，即使 MM-DiT 接收到的是空提示词，这些信息仍然可以被解码，这表明上下文词元会从不断演化的视觉表示本身中积累大量图像特定信息。我们进一步发现，上下文表示越容易被读取的生成结果，往往获得越高的人类偏好评分。基于这些观察，我们提出了 Contextual Alignment，这是一种训练技术，能够显式强化上下文词元中编码的视觉语义信息，从而提升生成质量和分布覆盖度。总的来说，我们的结果表明，上下文词元既是理解 MM-DiTs 内部动态的可解释窗口，也是改进生成模型的有效优化目标。