Hob-VL：视觉落地的布尔推理基准

arXiv:2610.01605v1 公告类型：cross 摘要：可靠的视觉推理需要综合多个视觉观察结果，并对逻辑等价的问题给出一致的答案。我们提出了 Hob-VL，一个用于视觉落地布尔推理的基准。Hob-VL 包含两项任务：（1）评估图像中是否满足某条布尔规则；（2）识别满足布尔描述的（唯一）对象。Hob-VL 包含 6,000 个经人工验证且“是/否”均衡的问题，每个问题均由十条视觉陈述的布尔组合定义，涵盖 1,000 个生成场景和 46 张多样化的带标注照片；此外，还包含针对同一批照片的 1,000 个对象识别问题。我们的问题系列经过有意设计，通过误导性的局部线索和嵌套逻辑运算来挑战推理能力，并采用符号化和结构化自然语言两种呈现形式。在八种禁用或最小化思考功能的模型配置中，布尔准确率介于 48.52% 和 50.57% 之间，而识别准确率最高仅为 43.0%。启用思考功能的 GLM 配置取得了不均衡的提升，但仍存在大量错误和不一致。Hob-VL 通过可执行的参考答案和配对评测揭示了这些失败。