视觉Transformer需要全对全注意力吗？通过弹性学习核心实现全局通信

arXiv:2605.12491v2 公告类型：replace-cross 摘要：Vision Transformers（ViTs）通过图像块标记之间的全对全自注意力学习丰富的视觉-语义表示。然而，这种设计隐含地假设直接的成对图像块交互对于有效的表示学习是必需的。在本文中，我们对这一假设提出质疑，并表明，无需直接的图像块到图像块交互，也可以学习同时支持全局识别和密集预测的表示。我们提出 VECA（Visual Elastic-Core Attention），这是一种采用核心-外围结构化注意力的视觉Transformer，通过一小组学习得到的核心进行信息传递。图像块标记仅通过这些核心交换全局信息，同时完整的密集图像块集合在各层之间得以保留并迭代更新。对于固定的核心预算 C，这将注意力复杂度从 $O(N^2)$ 降低至关于图像块数量 N 的线性复杂度 $O(N)$。不同于以往基于潜在标记交叉注意力的架构，VECA 支持稀疏的全局通信，而不会压缩空间表示本身。沿核心轴进行嵌套训练，还使单个模型能够在推理时灵活权衡计算量与准确率，而无需重新训练。在图像分类和密集预测任务中，VECA 保持了与全注意力骨干网络相当的竞争力，并在大多数基准测试中优于所评估的线性复杂度替代方案。此外，在没有显式监督的情况下，这些核心会形成具有语义组织结构的表示，从而支持跨视频帧的目标标签迁移。这些结果表明，无需直接的全对全图像块交互，也能学习有效的视觉表示。