Level-of-Token Diffusion

图像和视频扩散模型会为每个区域分配相同的计算量，即使目标场景要求不同程度的细节。细节的空间分布通常可以在生成前预先判断，从而确定可以减少计算量的位置。我们提出 Level-of-Token（LoT）Diffusion，这是一种将这些信息转化为显式多分辨率 token 布局（Level-of-Token 布局）的框架，以实现自适应且高效的生成。Token 表示大小和形状各异的矩形图像块，在需要细节的区域分配更精细的 token，在其他区域则使用更粗粒度的 token。我们通过分块非对称流参数化以及多分辨率 token 嵌入，使预训练扩散 Transformer 适配 LoT 布局：在每个去噪步骤中保留全分辨率流预测，同时仅处理缩减后的 token 序列。LoT Diffusion 在保留预训练生成先验的同时，实现了布局自适应生成。我们展示了基于语义掩码、边界框、纹理方差和景深线索，以及智能体规划所生成布局的 LoT 效果。在图像和视频生成任务中，LoT 均实现了良好的质量—效率权衡，其显著的加速效果取决于布局的 token 预算。我们的项目网站位于 https://georgenakayama.github.io/lotdiffusion/】【。