剖析 Vision Transformers 中的表示结构：一项严谨的架构研究

arXiv:2610.11205v1 公告类型：cross 摘要：表示结构对于理解 Vision Transformer（ViT）架构及其泛化行为至关重要。然而，既有研究既未隔离和分析模块级特征，也未探究这些特征之间的交互如何影响性能估计。在本工作中，我们首次对不同架构规模下的特征信息进行了严谨分析，从实证角度揭示了 ViT 表示与泛化行为之间的关系，并利用这些洞见指导高效的 ViT 设计。我们的贡献主要有以下五点：在不同架构规模下，1）我们发现了初始化阶段的特征坍缩现象，该现象会导致冗余，并提出了一种缓解该问题的降维方案。2）我们利用熵和最小特征值量化特征信息，证明这些指标可作为预测泛化能力的可靠信号。3）我们表明，token 空间中的特征比嵌入空间中的特征更能忠实地表示信息。4）我们发现了一个出乎意料的现象：ViT 层内线性子模块产生的特征对于预测泛化性能至关重要。5）与以往基线方法相比，我们提出的代理指标将相关性排名提升了 18%–48%，并能有效识别出在计算成本更低或相当的情况下实现更高准确率的 ViT 架构。