纹理驱动视觉学习中的低频捷径

arXiv:2606.03493v2 公告类型：replace-cross 摘要：神经网络会受到捷径学习的影响，即所学习的特征在训练集上具有良好的泛化能力，但无法泛化到分布内（ID）或分布外（OOD）测试集。现有研究都基于少数标准基准，而这些基准由形状驱动。然而，众多应用领域是由纹理驱动的。在本文中，我们对纹理驱动领域中的捷径学习进行了分析，并将其与标准基准中的捷径学习进行比较。我们表明，纹理驱动领域会受到低频捷径的影响。尽管高频成分（HFCs）具有更高的预测能力，但模型的大多数决策仍基于少数具有偏斜频谱特性的低频成分（LFCs）。从训练集和测试集中剪除LFCs可以缓解捷径问题，并带来更加均衡的频谱特性；在算法和现实世界的领域偏移下，这一方法可使ID准确率最高提升10%，OOD准确率最高提升40%。我们还表明，通用基础模型和领域特定基础模型同样可能受到低频捷径的影响。尽管大型模型可以缓解这些捷径，但其计算成本很高，而且准确率可能显著低于经过捷径剪除、从头训练的小型模型。我们发现，降低图像分辨率会加剧捷径程度；较大的频率变换块大小比小块大小更能捕获低频捷径；此外，低频捷径在不同色彩空间中都会持续存在。我们希望这些发现能够提供有价值的见解，并对从事新兴且研究不足领域工作的实践者有所帮助。