度量空间回归与分类准确性和稳定性的确定性界

arXiv:2610.22564v1 公告类型：新 摘要：数据驱动方法常常因传感器噪声或目标噪声、信息不足以及输入数据中的噪声而面临数据集歧义。尽管最佳拟合机器学习方法可以通过不确定性估计来应对此类噪声，但它们容易过拟合，而且难以量化输入与目标之间关系的歧义性。我们提出了一个几何框架，通过平均核大小量化这种歧义性；平均核大小由基于数据、即与模型无关的可行集计算得到，这些可行集源于最坏情况下的输入噪声和目标噪声。该框架为有限的构造数据集上的最佳可达经验误差和准确率提供可计算的、确定性的、非渐近界；这些界与预测模型类别无关，并适用于具有伪度量输入空间和度量目标空间的回归与分类问题。输入—目标关系的歧义性带来三个后果：经验误差下限、准确率—稳定性权衡，以及在标准概率假设下，当训练准确率低于这些界时，严格为正的分布—训练误差间隙。在欧几里得范数的标准 Borel 假设下，平均核大小的分布对应量与 Bayes 风险相关，因为它可化为最优分布均方根误差乘以二的平方根。涵盖表格回归、图像回归和分类数据集的实验，在构造数据集上为最佳可达经验误差和准确率给出了非平凡界，并对模型在原始数据集上的性能进行了描述性比较。这些界为构造数据集提供了一个可计算的、与模型无关的参考尺度，而与模型在原始数据集上的性能比较仅具有描述性。