PowerBench：衡量语言模型在权力转移请求中的偏见

arXiv:2610.02303v1 公告类型：新 摘要：语言模型日益协助人们处理与权力相关的请求，因此，它们在帮助对象上的系统性差异，可能在大规模范围内改变权力分配，或被那些了解到哪些身份更不容易遭到拒绝的用户加以利用。我们推出 PowerBench，这是一项针对权力转移请求的评测，区分自我赋权、剥夺权力和攫取权力三类请求，并加入一组不会改变权力分配但会诱发拒答的对照请求。我们构建、整理并开源了一个此类请求数据集，其中变量包括权力领域、情境、受影响方的规模以及用户原有的权力地位；并在三种实验条件下评测了 24 个模型（其中 12 个来自 US 开发者，12 个来自中国开发者）：用户与受影响方国籍互换、用户为 AI 智能体，以及 8 种请求语言。模型拒绝攫取权力请求的程度高于拒绝剥夺权力请求，拒绝剥夺权力请求的程度又高于拒绝自我赋权请求。随着受影响方规模从个人扩大到社会，模型对攫取权力请求的拒答率上升。模型倾向于帮助他人从 US 手中夺取权力，同时不愿帮助 US 用户从他人手中夺取权力；但当 US 获得权力且无人失去权力时，模型又偏向 US。当用户是 AI 智能体时，模型对权力转移请求的拒答率会上升，尤其是在针对个人的攫取权力请求中。最后，语言会造成拒答偏差，但这种偏差因模型而异，平均而言大体相互抵消。我们发布 PowerBench，使当前及未来模型中的这些不对称现象能够得到衡量。