艰难之路，唯一之路：在最困难样本上训练的可证明优势

arXiv:2610.21201v1 公告类型：新 摘要：尽管学界对大幅削减数据对于 AI 系统所表现出的“非理性有效性”产生了浓厚的实证兴趣，但对这一现象的统一理论理解仍然缺失。在本文中，我们通过加权经验风险最小化（ERM），为数据削减下的学习提供了精确的高维理论。与先前工作一样，我们分析了沿输入空间某个一维子空间执行削减的情形。我们的分析精确刻画了输入维度 N 与样本量 P 在以固定比例 N/P 趋于无穷时的极限测试误差曲线。所得理论将近期文献中的若干结果作为特殊情形重新得到，并提供了一个通用视角，用于评估削减策略如何与损失函数及标签噪声相互作用。更为关键的是，我们刻画了高样本量情形（即 P 远大于 N）下的最优削减策略。我们证明，策略性削减能够使分类测试误差的衰减速度从经典的 sqrt(N/P) 速率——这通常是具有非指数尾部损失函数（例如二次损失）的普通 ERM 所达到的速率——加速至 Bayes 最优的 N/P 阶标，后者快得多。在这一设定下，我们出人意料地证明，这种最优性能可通过一种大幅削减策略实现：丢弃几乎所有训练数据，仅保留一小部分，且该部分严格由最困难的 2N 个训练样本组成。