数据依赖事件概率估计的统一框架

arXiv:2610.41244v1 公告类型：新提交 摘要：我们研究估计 $D(\dde(S))$ 的一般问题，即未知分布 $D$ 赋予某个事件的概率；该事件由从 $D$ 中独立同分布抽取的 $n$ 个样本组成的样本集 $S$ 通过已知映射 $\dde$ 确定。估计算法已知 $\dde$ 和 $S$，但无法获取来自 $D$ 的任何额外样本。这一表述涵盖了经典的缺失质量、自适应数据分析和选择后推断中的数据依赖目标，以及由数据训练得到的预测器的测试误差；Gastpar 等人（2024a,b）近期研究了后一种情形的估计问题。在这一框架下，我们考察了两种经典的估计方法。经验代入估计量的误差恰好是泛化差距，因此泛化界可直接用于该估计量。留一法估计量可还原 Good--Turing 估计量，并且对于任何在删除一个样本点后保持稳定的映射都能实现准确估计，其中包括样本邻域和穿孔集合等新的结构化示例。我们框架的主要应用是估计一种预测器的误差，该预测器将基础分类器与记忆的例外情况相结合，这种结构在理论和实践中都很常见。对于这类预测器，其测试误差恰好是限制在基础分类器错误区域内的缺失质量，而该区域由同一个样本集选定。为处理这种依赖性，我们提出了自适应缺失质量估计的一般问题，并提出一种自然的混合估计量，即限制在选定区域内的 Good--Turing 估计量。我们证明，仅凭基础分类器的泛化能力并不能保证该估计量的准确性，并推导出其误差的两个界：第一个基于可能的错误区域的 VC 维，另一个基于选定区域与样本集之间的互信息。