提示词修订是文生图系统中文化偏见的来源
Prompt Revision as a Source of Cultural Bias in Text-to-Image Systems
精选理由
深度 95 / 新颖度 91,来自 arXiv cs.AI。
AI 摘要
商业文生图系统会在生成图像前悄无声息地修订用户提示词,而这一步用户通常无法禁用,甚至无法查看。然而,现有的文化偏见审计只考察最终图像,并将生成过程视为单一流水线,因此无法判断偏见源自何处。我们推出 WORLDVIEW,这是一个多语言基准,包含涵盖 15 种语言和 31 种语言—语境配对的 8,960 条提示词。借助该基准,我们对三个系统(DALL-E-3、Imagen-4、GPT-Image-1.5)中的修订层进行审计,分三步分析其对每种文化语境的标记程度、是否将该语境压缩为狭窄的词汇集合,以及这些词汇是否具有刻板印象。与无语境英语基线相比,美国是被标记程度最低的语境,而非西方和非英语语境受到的标记要强烈得多:它们被压缩为狭窄的词汇集合,并被应用于主题多样的提示词,最终被简化为易于识别的文化刻板印象。通过在不含修订层的模型上比较原始提示词与修订后提示词生成的图像,我们确认修订层本身是此前未被记录的、造成这种刻板化的因果来源。要定位并消除文化偏见,我们必须审计实际部署的系统,而不能只审计模型本身。