超越单属性审计：用于评估 LLMs 交叉公平性的可配置多属性基准

大型语言模型（LLMs）正日益接受公平性评估，但现有大多数基准一次只审计一个敏感属性。这种单属性范式可能忽视交叉性伤害：多个属性以非加性方式相互作用，产生在边际评估下不可见的失效。我们引入 ComFair，这是一种可配置基准，可将现有公平性数据转换为 479,066 个受控的双属性和多属性实例，并为每个增强实例配对一个任务等价的源实例。在识别、选择、续写和对话任务中，这种配对支持对性能或偏差分数变化的统一审计，评估新增属性引入新错误或掩盖现有错误的频率，以及模型排名的稳定性。针对十个 LLMs 的实验显示出依赖任务和子群体的敏感性：即使总体变化幅度较小，判别式任务也会暴露两个方向的转变；生成式任务呈现出更大的、方向不对称的变化；排名则会随属性组合而变化。因此，ComFair 提供了一种可扩展的受控敏感性审计——而非对身份自然联合分布的建模——用于检验公平性基准结论在单属性设置之外的稳健性。