arXiv cs.LG精选74

异质输入融合下的良性过拟合

Benign Overfitting under Heterogeneous Input Fusion

· 6天前

精选理由

揭示异构特征融合下良性过拟合的信号与谱几何机制,指导多模态建模风险评估。

AI 摘要

arXiv:2610.09340v1 发布类型:新增 摘要:从单一高维输入中学习时,良性过拟合已得到广泛研究,但其在异质输入融合下的表现仍基本未被探索。我们在异质 Gaussian 设计下研究这一问题,考察最小范数线性插值:在保持底层总体任务不变的同时,比较两个具有统计依赖性的输入块及其融合结果。对于回归问题,我们确定了一个全谱协方差证书,其渐近状态与截断阈值无关,并证明对于所有与这两个边缘协方差一致的半正定联合协方差,该证书都得以保持。这种保护是严格的,但并不适用于所有良性回归问题:在证书所刻画的区域之外,两个良性边缘输入的融合可能产生危害。对于单稀疏 Gaussian 分类问题,正则区域中的良性由残存的预测信号与干扰污染之间的平衡决定。融合可能使这两个量朝相反方向变化,并且在这一模型类中,从边缘到联合的每一种良性/非良性模式都可以实现。我们进一步表明,同一个融合输入可能对回归和分类产生性质截然不同的影响。这些结果表明,异质融合下的良性过拟合取决于由输入交互所形成的联合信号与谱几何,而不仅仅取决于边缘输入是否良性。

查看原文(arXiv cs.LG)