成对 AUC 优化需要纠偏能力：统一视角

arXiv:2610.21743v1 公告类型：新 摘要：直接进行成对 AUC 替代损失训练颇具吸引力，因为它直接针对测试时使用的排序指标进行训练，尤其适用于类别不平衡的情况。这使训练目标与评估指标之间实现了直接对齐，但仅有这种指标对齐并不能保证随机训练仍然具备纠偏能力。我们通过“纠偏能力”研究这一差距：成对小批量更新是否会针对更严重的正负样本排序错误，产生更强且更可靠的改进。我们的主要观察是，直接成对训练可能进入这样一些区域：严重错误仍然普遍存在，但不再产生有用的纠偏运动。在这些区域中，即使是通常能够帮助 SGD 沿着最陡峭的严重错误纠正方向移动的小批量噪声，也可能变得弱得多。本文通过探究其中由成对梯度形成的 U 统计量的退化性质，寻求对此现象的理论解释。我们的结果为若干经验现象提供了机制层面的解释：(a) 平方铰链损失通常是有效的 AUC 替代损失；(b) 对于从较差初始区域进入 AUC 阶段的模型，交叉熵预热能够带来帮助；(c) 从预训练模型出发进行参数高效微调，可以通过从更接近有利排序几何结构的位置开始，减少对预热的需求。在 8 个 CV 任务和 8 个 NLP 任务上的实验，使用 ResNet50、DenseNet121、DistilBERT-base 和 Qwen2.5-1.5B-Instruct，支持了这些预测。