部件能欺骗测试吗？用于关系型 OOD 的反事实配对循环

arXiv:2610.23248v1 公告类型：cross 摘要：关系型分布外错误很容易描述，却难以进行严谨评估。一张图像可能是自然的，一段描述可能语句流畅，所提及的所有物体也可能都很常见，但描述却可能错误地描述了图像中的关系。许多旨在测试这种行为的评估方法无需真正检查配对关系即可完成，因为负样本在描述风格、模板、长度、物体频率或图像统计特征上存在差异。我们提出反事实配对循环，这是一种分块评估原语，在比较的两侧重复使用相同的两张图像和相同的两段描述，只改变哪张图像与哪段描述配对。这样一来，在有限样本中，仅依赖图像、仅依赖文本以及加性组件的捷径都会被精确抵消。同一对比还提供了一种用于关系型异常值暴露的训练损失，以及一种用于诊断双线性视觉-语言评分的工具。在合成控制实验、GQA 和 COCO 上，循环能够区分粗粒度的图像-描述匹配与方向性的角色绑定失败，同时还能识别出在全局特征中仍然高度显著的几何尺寸关系。在一个受捷径污染的 COCO 异常值暴露压力测试中，由近乎完美的捷径验证 AUROC 选出的模型保留了相当多的关系信号，但在精确循环上仍低于循环训练；循环训练将 CycleAcc 从 0.882 提升至 0.927。核心结论很简单：要测试模型是否理解配对关系，基准应固定各个部分，改变配对方式，并且只询问它们之间的耦合。官方实现已在线提供。