arXiv cs.LG精选81

对抗性多重性:精挑细选的模型与披露的局限

Adversarial Multiplicity: Cherry-Picked Models and the Limits of Disclosure

· 1小时前

精选理由

揭示模型选择可被操纵并绕过审计,帮助读者识别算法决策中的偏见风险与监管盲点。

AI 摘要

arXiv:2611.07378v1 公告类型:新提交 摘要:预测多重性是指准确率相近的模型对个体预测存在分歧的现象,可用于在不损失预测性能的情况下优化次要指标(例如公平性)。然而,利用多重性也为有特定动机的各方(或为达成目标而钻空子的编程智能体)提供了机会,使其能够引导预测以服务自身目的,例如在涉及自动化决策工具的诉讼或消费者纠纷中。在这些对抗性多重性情境下,我们区分了软操纵与硬操纵:前者是指各方通过看似无害的模型选择(例如超参数调优、特征工程)进行优化,后者则是指各方直接扰动模型参数。我们发现,只要模型足够灵活,就可以通过操纵来逆转任意个体预测,同时使预测性能的变化极小,并通过黑箱审计,这使得硬操纵在大多数监管情境下都切实可行。软操纵的影响较小,但能够通过要求全面访问代码和数据的白箱审计。即使是总体估计也可能受到操纵:通过硬性编辑和软性搜索,可以完全逆转模型对气候变化影响野火的估计。我们发现,Reconcile 算法通常能够消除模型之间的大多数分歧,但与随机选择对方模型相比,当对方模型是以对抗方式选择时,分歧的解决结果更常有利于操纵者。我们梳理了哪些操纵可能通过现有法规和披露政策的审查,并建议采取预注册、模型训练证明、敏感性分析、多指标评估,以及承诺使用具有版本记录的公开模型等缓解措施。

查看原文(arXiv cs.LG)