掩码重采样的隐藏优势：掩码自动编码器理论

arXiv:2610.01578v1 公告类型：cross 摘要：为什么掩码预测能够学习到有用的表征，而无掩码重构却无法做到？我们在一个高维掩码自动编码器（MAE）模型中研究这一问题，该模型在具有共享潜在结构和异质噪声的数据上进行训练。我们证明，在某些无掩码线性重构（等价于 PCA）失效的情形下，掩码线性重构仍能以线性样本复杂度恢复潜在特征。我们还量化了掩码重采样的统计优势，这是掩码预训练中一个公认的重要组成部分。通过为每个样本引入固定的 $K$ 个掩码，我们刻画了其对特征恢复和下游性能的影响，并确定了掩码多样性更高能够降低样本复杂度的情形。受这一预测启发，我们发现，在标准图像训练流程中，随机裁剪和翻转即使在图块掩码固定时也会通过更新预测任务，掩盖掩码重采样的优势。移除这些变换后，我们在 CNN 自动编码器和视觉 Transformer 中发现，相较于静态掩码，动态掩码具有下游优势。一项互补的 BERT 试验发现，更高的掩码多样性能够提升下游语言任务的表现。我们的结果区分了掩码预测目标本身与掩码多样性所带来的收益，并展示了一个易于处理的理论如何指导实验，从而揭示被标准训练实践所隐藏的优势。