稳健的去中心化公平性审计

arXiv:2610.10199v1 公告类型：新 摘要：新兴立法要求对大型语言模型（LLM）进行审计，以确保其符合监管标准，尤其是公平性标准。此类黑盒审计通常假设存在一名能够访问大量且具有代表性的查询集的审计员。在实践中，审计员可能难以获得这样的查询集，但多名审计员可以通过使用各自的查询集协作审计 LLM，共同覆盖相关的群体特征。然而，依赖多名审计员会引发一个根本性的信任问题：他们可能代表 LLM 提供方行事，营造出具有误导性的公平表象，即“公平洗白”。我们提出了 Auditopus，一种用于稳健去中心化公平性审计的新方法。在 Auditopus 中，审计过程以轮次进行，且不设中央服务器。在每一轮中，每名审计员向 LLM 发出固定数量的查询，并仅向其他审计员发送其查询结果的累积统计向量，而不是明文发送敏感查询。随后，通过聚合所有向量来估计受审计 LLM 的公平性。我们从理论和实证两方面表明，即使网络中只有一名恶意审计员，也能通过伪造其发送的向量操纵该估计值，使不公平的 LLM 看起来公平。为应对这一威胁，Auditopus 要求每名诚实审计员在本地降低那些累积统计向量与先前向量在统计上不一致的审计员的权重。我们实现了 Auditopus，并在两个数据集和两个预训练 LLM 上将其与稳健聚合基线方法进行了比较。面对通过优化所发送的向量来使 LLM 看起来公平的攻击者，相比不采取防御措施，Auditopus 将审计误差平均最多降低了 78%；相比稳健聚合基线方法，至少降低了 62%。即使 49% 的审计员具有对抗性，Auditopus 也从未让非常不公平或中度不公平的 LLM 被判定为公平。