MLLM评审者真的在评判编辑效果吗？在已验证质量保持的条件下审计图像编辑评估中的偏差

arXiv:2610.01670v1 公告类型：cross 摘要：多模态大语言模型（MLLM）越来越多地被用作基于指令的图像编辑任务的自动评审者，以及模型训练的奖励信号。然而，由于视觉干预本身可能会改变待评估的质量，系统审计这些评审者是否会受到与编辑质量无关的线索影响颇具挑战性。因此，只有在经过验证、确认干预保持底层编辑质量不变的情况下，评判结果的变化才能归因于偏差。为应对这一挑战，我们提出了 EditJudgeBias，这是一个经过质量保持验证的反事实基准，包含1,196个真实编辑样本，以及注入四个评估位置的13种线索。我们使用经过校准的多模态验证器、对照实验和人工检查，验证所请求编辑的质量保持不变。随后，我们从三个互补维度审计了五个 MLLM 评审者：对保持质量的线索具有不变性、与人类判断的一致性，以及成对偏好的稳定性。重要的是，我们将观察到的变化与每个评审者自身的零剂量噪声下限和重复查询噪声下限进行比较，而不是以零为基准。实验表明，保持质量的线索会使每个评审者的判断变化超过其自身的噪声水平。伪造的多数意见会提高评分；无关的视觉元素造成的变化大于整幅图像的操纵；交换候选项顺序则会逆转多达60.9%的成对决策。编辑区域线索也往往会降低与人类判断的一致性。这三项指标以不同方式刻画评审者，表明鲁棒性无法由单一指标衡量。