MC-Sparse：解构并弥合扩散 Transformer 中的稠密-稀疏注意力差距

稀疏注意力是降低扩散 Transformer 在长序列生成任务中延迟的主要方法，例如视频和高分辨率 3D 资产生成。然而，现有方法在高稀疏度下可能导致生成质量和保真度下降。通过受控的预言机比较，我们将这种退化归因于三个来源：令牌分组施加的约束、不准确的交互选择，以及丢弃令牌时损失的注意力贡献。基于这一分析，我们提出 Meta-Cached Sparse Attention（MC-Sparse），这是一种无需训练的框架，可选择单个键值（KV）令牌，同时将相似查询组织成与图块对齐的分组，以实现高效的 GPU 执行。MC-Sparse 会缓存包括查询分组、使用精确注意力概率选出的 KV 索引，以及稠密与稀疏注意力输出之间的残差在内的元数据，并在后续去噪步骤中复用这些数据。在视频和 3D 生成模型上，MC-Sparse 相较于现有稀疏注意力基线，能够更高保真地逼近稠密注意力输出，并实现更大的去噪加速，同时不会产生可见的质量下降。相较于稠密注意力，在 Minimax-H3-Base 上可实现 $1.80\times$ 的去噪加速，在 3D 资产生成上可实现 $2.32\times$ 的加速，且二者的质量损失都可以忽略不计。