读取、分配、路由：面向像素空间生成式 Transformer 的角色耦合标记化

像素空间生成式 Transformer 通常为每个图像块使用一个 token，因此捕捉更精细的细节需要更多 token，也会使全局注意力的计算成本不断增加。我们观察到，更精细的细节并不一定需要更多的全局通信：低频结构受益于全局信息交换，而高频细节可以在局部进行建模。基于这一发现，我们提出了 SpecSlot，这是一种像素空间整流流 Transformer，将输出细节与全局注意力序列的长度解耦。SpecSlot 将每个空间锚点扩展为多个槽位，并为每个槽位分配一组互不重叠的 DCT 系数频带，从而将锚点密度与频谱细分分离开来。每个锚点中只有最低频率的槽位参与全局注意力，而所有槽位均进行局部交互。这样，模型便能在不扩大​​全局序列的情况下增加频谱细节。空间头还会在频谱预测的基础上进一步加入局部修正，同时生成状态、目标和损失仍保留在像素空间中。在 ImageNet-256 上，SpecSlot 在 FLOPs 匹配的 JiT 对照模型上以更快的收敛速度达到了相当的最终 FID。在 ImageNet-512 上，它以少 3.9% 的 FLOPs 将 FID 提升了 2.84；与 JiT-B/16 相比，其成本降低了 38.2%，而 FID 仅相差 0.69。在文本到图像生成任务中，SpecSlot 的 DPG-Bench 得分超过 JiT-B/8 1.06，同时前向计算成本降低了 40.6%。