用于高效视觉几何 Transformer 的硬件感知校准聚类注意力

arXiv:2610.09274v1 公告类型：交叉收录 摘要：Visual Geometry Grounded Transformer（VGGT）标志着三维场景重建取得了重大进展，因为它是首个能够在单次前向传播中直接联合推断所有关键三维属性（相机位姿、深度和稠密几何）的模型。然而，这种联合推断机制需要处理超长序列的全局注意力层，造成了显著的延迟瓶颈。本文提出分块聚类注意力（BC attention），以加速 VGGT 中的全局注意力层。通过将聚类限制在硬件友好的邻域块内，BC attention 降低了查询聚类的计算开销，以及片上与片外存储器之间代价高昂的数据搬移开销。这使 BC attention 能够扩展至长序列，并在 GPU 上实现实际的延迟改善。此外，我们引入了一种哈希超平面校准方法和一种基于阈值的误差补偿方法，以高效减少聚类误差；此类误差是当前聚类注意力机制的瓶颈。总体而言，我们在 GPU 上的实验表明，对于大型场景，经过校准的 BC attention 可将全局注意力层加速 2.10–2.63 倍，将整个骨干网络加速 1.77–2.35 倍，而性能损失可忽略不计（1%）。在性能损失较小（< 5%）的情况下，经过校准的 BC attention 进一步将全局注意力层加速 2.26–2.87 倍，将骨干网络加速 1.90–2.55 倍。