使用集合学习改进长尾数据上的集合值分类器

arXiv:2610.27443v1 发布类型：新 摘要：集合值分类（SVC）通过针对每个输入预测大小可变的集合，而非固定大小的集合（例如 top-1 或 top-5），在保持准确性的同时，为传达不确定性提供了一种实用方法。然而，在长尾和类别不平衡数据集上，集合值分类器（SVC）表现出显著下降的性能，而这类场景从理论上说正是其适用之处。在宏平均评估下，这一问题尤为明显，因为宏平均对所有类别赋予相同权重。SVC 通常在事后校准阶段构建，因此人们对训练动态如何影响其行为知之甚少。在本文中，我们研究了不同的神经网络训练策略和损失函数如何影响高度不平衡数据上的下游 SVC 性能。除标签平滑和类别均衡等方法外，我们还研究了这样一种可能性：在一个批次的样本集合上进行操作、而不是将所有样本视为相互独立的损失函数，是否能够带来更好的下游 SVC。我们改进了近期提出的 odd-K-out（OKO）损失函数。该函数从训练样本集合中学习，在提升样本效率的同时，通过引入算法层面的修改，将其计算开销从标准交叉熵训练的 3.2 倍降至仅 1.36 倍。在高度长尾数据集上的实验表明，我们改进后的 OKO 方法能够显著提升多种 SVC 方法的宏平均准确率——包括 top-k、average-k 和保形预测——同时保持具有竞争力的微平均准确率。少数类上的性能提升并未导致预测集合大小显著增加，这表明经过精心设计的基于集合的训练能够生成更适合不平衡数据的网络。