arXiv cs.AI精选83

GPT 模型中的伤害洗白:证据表明,跨越接受安全训练的各代模型,性别歧视发生了转化而非减少

Harm Laundering in GPT Models: Evidence That Gender Discrimination Is Transformed Rather Than Reduced Across Safety-Trained Generations

· 26天前

精选理由

揭示安全对齐可能将性别歧视隐性化,提醒读者超越毒性分数评估模型公平性。

AI 摘要

大型语言模型的安全评估依赖表层形式分类器,而这些分类器显示各代模型的伤害分数不断下降。我们提供的证据表明,这种方法在系统性上并不完整:明确的歧视性内容并未被移除,而是发生了转化。我们将其称为伤害洗白(harm laundering)。通过分析 15 个模型中 450,000 条面向性别的生成结果(涵盖 GPT-2 至 GPT-5,属于 OpenAI GPT 谱系;包含三种人口统计条件),我们显示,GPT-2 面向女性的输出中普遍存在的性暴力聚类,到 GPT-4 时消失;与此同时,面向男性的生成结果获得了更多积极的表征空间(照护、情感丰富性、盟友身份),而面向女性的生成结果并未获得这些空间。该模式在 GPT-5 中最为明显:Topic~5(1,997~份文档)将乳腺癌框定为一场男性权利争论,而面向女性的输出中没有出现任何对应的聚类。三个独立分类器均将这些内容评为无毒性。情感分数在 GPT-4 时发生反转:早期模型贬低女性,后期模型则过度纠偏。在 GPT-4 的对齐边界处,面向女性的生成结果的主题多样性比面向男性的结果低 36\%(W/M~$= 0.58$,而 GPT-2 时为 $0.91$)。REGARD 表征性伤害差异与发布日期相关($ρ= +0.55$,$p = .034$),而 Detoxify 则不相关($ρ= -0.23$,$p = .42$):随着表征性伤害增加,毒性分数反而下降。我们将伤害洗白形式化为一项包含三个标准的检验,并提出一套适用于任何生成式模型的三阶段检测协议。在 OpenAI GPT 谱系中,毒性分数的降低并不足以作为伤害减少的代理指标。

查看原文(arXiv cs.AI)

同一事件 · 2 家报道