并非对所有人都安全:审计文本到图像安全管线中的方言惩罚
Not Safe for All: Auditing the Dialect Penalty in Text-to-Image Safety Pipelines
精选理由
揭示T2I安全对方言偏差并提供缓解思路
AI 摘要
文本到图像(T2I)安全护栏未能公平地泛化到非标准方言。我们在五种英语方言上评估了 23,080 对配对提示词,并将这一失败形式化为方言惩罚:过滤器是依据语言表层特征而非语义意图触发的。文本级过滤器在两个相反方向上都失效:NSFW-T 会对无害的方言提示词过度标记,而 LatentGuard 会对有毒提示词过度标记(偏差差距最高达 +28.29 个百分点),与此同时 OpenAI Moderation API 则对它们漏检。受控的拼写错误消融实验确认,这种惩罚源于对方言特征的标记,而非一般性的分布外敏感性。像素级生成器在很大程度上不受方言影响;惩罚是在文本处理阶段引入的,并不均匀地级联到事后护栏。我们表明,这种偏差与训练数据不平衡相关,并且可通过组平衡再训练加以缓解;消融实验将这一收益归因于平衡暴露,而非 GroupDRO(group distributionally robust optimization)的最差组目标。当前管线系统性地对方言使用者失效,这是一种被平均准确率基准所掩盖的公平性失败。我们的官方代码和数据集已公开,见 https://github.com/minguinho26/dialect-penalty-t2i。 内容警告:本文包含冒犯性、有毒或令人不安的文本提示和生成图像。