LiDAR 语言模型真的理解时空关系吗？

近期的 4D LiDAR 语言模型旨在推理物体及其不断演变的空间关系。然而，在我们的评估中，始终选择同一个选项几乎可以达到两种源自 B4DL 的配置在多项选择题上的准确率。我们提出 LiDAR-Hallu，这是一个以几何为参照的基准和诊断协议，包含来自 150 个 nuScenes 场景的 10,000 个问题。它涵盖物体存在性、自车相对位置、距离排序、相对运动和时间定位，并为选择物体、比较时间以及确定参考答案提供了明确规则。我们的协议结合了固定答案和候选内容控制、具有相同提示但参考答案相反的跨场景配对，以及特定关系召回率。对 100,000 条记录响应的分析揭示了被总体准确率掩盖的失败。仅候选项持续时间就能使时间答案在不观察 LiDAR 的情况下变得可预测。在配对问题中，模型经常对需要相反答案的场景给出相同答案。特定关系分析进一步表明，在所有测试条件下，两种配置都漏掉了每一个正向横向运动案例。时间打乱对比解码几乎没有带来净改进，因为修复基本上被新的错误抵消，且主要失败仍然存在。这些结果表明，评估时空推理需要检验模型是否能区分所查询的物理关系，而不能仅依赖单个答案的准确率。源代码、检查点和数据已发布在 https://github.com/Awesome4D/4DMLLM_Hallucination_Bench。