对称性感知的特征学习：多索引模型中的多项式级分离

arXiv:2610.08420v1 公告类型：新 摘要：我们建立了对称性感知与对称无关的特征学习之间的多项式样本复杂度分离。我们研究具有高维 Gaussian 协变量的增长秩多索引模型，其中协变量位于 $\mathbb{R}^d$ 中，并且有 $r=\Theta(d^\delta)$ 个教师方向，这些方向构成一个循环对称轨道，其中 $0<\delta<1/2$。我们比较利用这一结构的三种方式：架构权重共享、在完整对称群上进行数据增强，以及在无法访问对称性信息的情况下进行学习。具体而言，我们使用带相关性损失的球面在线 SGD，分析一个对称性绑定的卷积网络、一个非绑定网络，以及使用完整群数据增强训练的同一非绑定网络。对于一类信息指数为 $p\ge3$ 的多项式链接函数，我们证明了除对数因子外相匹配的样本复杂度界：绑定学习器和增强学习器均能在 $\widetilde{\Theta}(d^{p-1})$ 个样本下实现弱方向恢复，而对称无关学习器则需要 $\widetilde{\Theta}(rd^{p-1})$ 个样本。对于纯二次 Hermite 链接函数，教师子空间的弱恢复同样呈现这种分离，其样本复杂度分别为 $\widetilde{\Theta}(d)$ 和 $\widetilde{\Theta}(rd)$。因此，完整群数据增强能够达到与架构权重共享相同的样本效率，而二者相较于不利用对称性进行训练都具有多项式优势。对于 $p\ge3$，证明揭示了一个两阶段机制：初始化时的波动会从教师轨道中选出一个方向，随后局部增长将该方向与目标的重叠放大到弱恢复尺度，同时其他竞争方向的重叠保持在接近其初始化尺度的水平。