超越二次复杂度注意力：用于 ODE Vision Transformers 的可分离高斯算子

arXiv:2611.08236v1 公告类型：新论文 摘要：自注意力的计算成本随词元数量呈二次增长，这限制了 Vision Transformers 随输入分辨率提升而扩展的能力。我们提出 SSoG，这是一种可分离的高斯和空间算子，通过可学习的、沿坐标轴分解的高斯核混合来替代稠密自注意力，将每层计算成本从 $\mathcal{O}(N^2)$ 降至关于 $N$ 的次二次复杂度。点积自注意力的 Lipschitz 常数在紧致输入域之外无界；与之不同，采用固定核的 SSoG 具有全局 Lipschitz 连续性，因此根据 Picard–Lindelöf 定理，其连续深度变体在整个积分区间上具有唯一解，而采用稠密注意力的对应模型通常缺乏这种全局保证。在输入分辨率为 $224\times224$ 的 CIFAR-100 上，在条件匹配的离散 Transformer 设置和连续设置中，保持深度与训练方案不变时，SSoG 在三种模型宽度下将 Top-1 准确率提高了 2.2–4.1 个百分点，同时将参数量减少了 8.8–16.6\%。在循环 Transformer 设置中，SSoG 将 Top-1 准确率提高了 5.4–8.1 个百分点。我们进一步在相同批大小下，使用最高达 $1024\times1024$ 的输入进行评估，以探究推理阶段的扩展能力：在连续深度（Neural ODE）架构中，相比稠密注意力，SSoG 的吞吐量最高提升 154\%，峰值内存占用降低超过 60\%，且差距随分辨率增长而扩大，与两者渐近计算成本的差异一致。在离散和循环设置中，SSoG 在这一分辨率下的吞吐量也比稠密注意力高出 30\% 以上。这些结果共同表明，在离散、权重共享和连续深度 Transformer 变体中，SSoG 是一种实用、参数高效且具有理论依据的稠密注意力替代方案。