Mandela-Bench：多模态模型记住的是经典图像，而不是在看它们

历史照片和其他经典图像如今只需一条指令就能被无缝编辑，往往不会留下可靠的像素级痕迹。在这种情况下，操纵的唯一证据可能只是关于图像所描绘内容的一个事实。现有基准反而依赖生成器伪影、图像-文字说明不一致、视觉上的不合理之处或外部参考，因此并未测试模型能否利用自身的世界知识来核验一张已识别出的图像。我们提出 Mandela-Bench，其中包含 1,507 个经典图像编辑样本：1,359 个仅凭知识即可识别的伪造样本，每个都与一个可验证事实相矛盾；以及 148 个无锚点对照样本，它们保留了编辑过程但未引入事实矛盾；另有 474 张未改动原图。我们的评分不仅考察模型是否检测到伪造，还考察其解释是否指出了被插入的实体或被违反的事实。在 36 个多模态模型中，从 0.8B 参数规模到前沿规模，我们发现了一种一致的失效模式。当某位公众人物被从一张熟悉的照片中移除时，模型在多达 72.7% 的回答中仍会说出此人的名字。有些模型在单独展示替换后的人脸时能够将其与原始人脸区分开来，却仍会将完整的编辑后照片判断为真实。提供真实事件和日期并不能改善基于知识的检测，而在裁掉可识别构图后再提供相同信息则可以。即使在明确要求核验的提示下，36 个模型中也只有一个在至少一半伪造图像上达到 KGR 标准。这些结果表明，这些失败不能仅由知识缺失或感知不足来解释。相反，它们与这样一种现象一致：识别会使核验偏向记忆中的经典图像，而不是实际观察到的编辑内容。