带有选择性标签的施为预测
Performative Prediction with Selective Labels
精选理由
揭示选择性标签会误导模型迭代,并提出稳健方法,在标签不完整时仍逼近稳定解。
AI 摘要
arXiv:2610.08272v1 公告类型:新提交 摘要:机器学习的许多社会应用都表现出施为效应:群体行为会随着已部署模型而发生变化。施为预测通过一个将各模型与其所诱导的群体分布关联起来的分布映射,研究这种交互作用。该框架下的一项主要结果表明,通过在最新数据上重新训练来更新模型的重复风险最小化(RRM),能够收敛到一个在其自身诱导的分布上实现风险最小化的稳定模型。然而,现有分析通常假设在模型部署后可以获取完整的特征和标签分布,忽略了选择性标签的可能性,即只能观测到群体中被接受子集的标签。在本文中,我们形式化了带有选择性标签的施为预测,并表明仅在已观测数据上重新训练可能会误导重训练过程,破坏其收敛到稳定解的保证。随后,我们提出了一个最坏情况目标,该目标基于正标签概率的已知置信区间。对这一目标应用 RRM,可以使我们与真实稳定点的距离保持在有界范围内。在对条件标签分布作出敏感性假设的条件下,我们进一步说明了先前被接受的数据如何随时间推移收紧这些置信区间。在带有公平性正则化的贷款应用中开展的实验表明,我们的鲁棒优化方法在性能上非常接近能够获取完整标签的 RRM。