当评判器采取行动：审计 VLM-Guided Image Selection 在具有文化语境的提示词上的表现

视觉语言模型（VLM）日益充当评判器，从多个生成图像中选出最佳图像，因此它们的选择决定了用户看到的内容。此类评判器通常通过与人工评分的一致性进行验证，而不是根据其返回的图像进行验证。我们将 VLM 评判器作为决策者进行审计：针对 300 个具有文化语境的提示词，我们将返回的图像与评判器从未见过的人类评分进行比较，并与从同一候选集合中随机选择的结果进行比较；同时，我们对候选图像重新排序后重复每次决策。一个拥有 4B 参数的评判器仅略胜随机选择，表现还不及 CLIP 相似度基线。在 49% 的调用中，它会选择最先展示的图像（随机概率为 28%）；重新排序会导致它在 60% 的提示词上改变选择。对于这个评判器而言，不同排序下的一致性具有信息价值：能够经受重新排序的决策明显优于随机选择，而与一个较弱的第二评判器达成一致则会保留错误选择。一个 8B 评判器几乎没有位置偏差，表现优于 CLIP；然而，对它而言，同样的筛选机制大多会丢弃正确决策。只有当一致性针对评判器的失败模式时，它才有帮助；因此，每当评判器发生变化，都必须重新审计筛选机制。在跨排序聚合后，或使用更大的评判器时，4B 评判器在刻板印象评分上的轻微上升已不再可检测。