Zebra3D：面向可扩展三维重建的高效混合基础模型

arXiv:2610.12727v1 公告类型：交叉发布 摘要：前馈式三维基础模型能够从无位姿图像中重建场景，但全局注意力的二次复杂度开销限制了其向大规模视图集的扩展。我们提出 Zebra3D，这是一种逐层稀疏—线性混合注意力框架，无需从头训练即可提升预训练三维基础模型的效率。在 VGGT、HunyuanWorld-Mirror 和 $\pi^3$ 中，我们观察到一种大体一致的随网络深度变化的模式：早期阶段对线性注意力替换的容忍度相对较高，而敏感的中后期阶段往往呈现出更集中的注意力。Zebra3D 利用这一结构，为容忍度较高的阶段分配以线性注意力为核心的注意力机制，为敏感阶段分配分块稀疏注意力，并使用地标摘要保留未选中的上下文。闭式仿射拟合支持免训练转换，而可选的转换后训练则将任务监督与输出蒸馏、关系特征蒸馏相结合。在全部三种骨干网络上，Zebra3D 均在高注意力稀疏度下实现了出色的重建精度和相机位姿精度，其免训练变体的表现仍接近对应的稠密模型。端到端加速比随输入视图数量增加而提升，在 1,024 个视图时最高达到 $7.1\times$。经过转换后训练，Zebra3D-VGGT 在平均注意力稀疏度为 94\% 时，RealEstate10K AUC@30 达到 80.5\%，与使用相同数据和训练方案微调的稠密 VGGT 相差不超过 1.1 个百分点。