重加权并非无害:理解数据集特征的作用
Reweighting is not Harmless: Understanding the Role of Dataset Characteristics
精选理由
揭示重加权可能以增加另一群体漏判换取公平指标改善,提醒实践者结合群体规模与基准患病率审慎评估。
AI 摘要
arXiv:2611.07258v1 公告类型:新投稿 摘要:重加权是一种广泛使用的预处理方法,通过在模型训练期间为数据点分配不同权重,促进模型做出无歧视的行为。尽管它常被认为能够改善公平性,尤其是缓解对代表性不足群体的系统性低估,但在某些数据条件下,它也可能带来意想不到的损害。通过改变群体规模和基线事件发生率的受控模拟,我们展示了重加权如何在减少对一个群体的低估的同时,对另一个群体引入低估,从而造成公平性得到改善的误导性表象。在事件发生率为7%至14%的3,000个模拟数据集中,重加权改善了群体之间阳性分类率和假阴性率(FNR)的均等性,但这种改善部分是通过减少基线发生率较高群体的阳性分类并提高其FNR实现的。当该群体为少数群体时,这些影响最为显著:其FNR上升了6个百分点,相当于每10,000名群体成员中额外漏检约82例;FNR均等性改善的约四分之三源于这一上升,而非另一个群体的改善。从逻辑回归到神经网络,这一模式在六种分类器中均存在,而总体准确率基本保持不变,使得这种变化在汇总性能指标中不可见。这些发现与实际应用中报告的模式相呼应,并凸显了数据特征在塑造这一公平性干预措施的影响方面所起的关键作用。虽然重加权在某些应用中可能产生理想结果,但实践者应结合自身的问题领域和目标,对其进行审慎评估。具体而言,当目标是减少对一个群体的低估,同时不对另一个群体引入低估时,重加权可能并非恰当的方法。