NegT2IBench：当否定改变图像。Text-to-Image 模型的极性基准

arXiv:2610.03084v1 发布类型：cross 摘要：Text-to-Image（T2I）模型通常通过衡量请求的内容是否出现来进行评估，但这类基准大多忽视了满足否定约束这一互补能力，例如生成“一只非红色的杯子”。对否定的测量带来了基于肯定的基准所不具备的挑战，需要谨慎设计提示词和评估方法。我们推出 NegT2IBench，这是一个包含 4,800 条提示词的基准，覆盖两种属性类型和四类关系。提示词按极性组织：必须成立的肯定陈述数量，以及不得成立的否定陈述数量，两者均分别从 0 到 2 变化。独立改变这两个数量，可以将否定的影响与提示词复杂度的影响区分开来。我们基于检测器的评分方法具有可复现、可审计的特点，并能准确指出哪项要求未被满足。在包含三名标注员标签的 600 张图像上，该方法与人工判断的一致程度与规模大 30 倍的视觉语言评判器相当，同时仅使用其一小部分 GPU 显存。在对 11 个 T2I 模型生成的 211,200 张图像进行评估时，九个模型在单条否定陈述上的得分低于单条肯定陈述。逐陈述评分显示，性能损失在颜色属性上最大，而在邻近关系上几乎为零；此外，41.5% 的失败陈述生成的恰恰是提示词所禁止的内容。生成提示词所要求的内容与不生成其禁止的内容是两种不同的能力，综合构图得分无法将二者区分开来。NegT2IBench 直接测量后者，为诊断否定失败并开发克服这些问题的方法提供了一个受控测试平台。