压缩是否意味着泛化？最小描述长度视角

arXiv:2610.21376v1 公告类型：新 摘要：现代学习理论中的一个核心问题是：何种压缩概念（如果确实存在这样的概念）能够解释过参数化神经网络为何具有泛化能力。现有答案在不同层次上衡量复杂度，从权重到表示不等；然而，对相关量的估计要么原则上需要留出数据，要么依赖于具有挑战性的（超）高维互信息估计。为克服这些挑战，我们通过最小描述长度（MDL）原理来研究这一问题。具体而言，我们提出将预序遗憾作为一种互补信号，它仅利用训练轨迹即可计算。我们证明，在（近似）插值状态下，期望预序遗憾能够上界算法诱导分布下训练参数的描述长度，并且在 PAC-MDL 设置中，该描述长度可转化为一个高概率泛化界。在此过程中，我们还表明，近期加入算法层面信息瓶颈（IB）的编码器复杂度修正项，可以由 MDL 参数描述长度上界，从而将 MDL 与 IB 关于压缩的两种观点联系起来。在实证方面，预序遗憾能够跟踪 CIFAR-10 和 CIFAR-100 上的泛化误差，其 Pearson 相关系数超过 0.9。