保序预测集量化信息增益：理论视角

arXiv:2610.08785v1 公告类型：新 摘要：保序预测是用于不确定性量化的一种流行工具，可输出具有有限样本覆盖保证的预测集。尽管预测集大小通常被作为不确定性的启发式度量，但这种解释的信息论基础仍缺乏充分理解。在本文中，我们利用一种针对集合值预测定制的决策论熵推广，为此提供了理论基础。具体而言，我们基于保序预测集的大小和覆盖率，引入了一族广义信息度量。值得注意的是，Shannon互信息可以用这些度量表示为一个精确的积分形式。随后我们证明，在标准分类设置下，额外信息所带来的保序预测集大小缩减：（i）被该族中依赖校准的成员所夹逼；（ii）满足数据处理不等式；上述结论均只相差有限样本校准误差和模型误差项。总体而言，我们的结果在形式上建立了保序预测与经典信息论量之间的联系，并证明了使用集合大小缩减作为信息增益度量的合理性。在实证方面，我们在11种分类设置中验证了理论，并在一次贪心特征选择实验中表明，集合大小缩减和Shannon互信息可能对特征给出不同的排序。