MindView：生成式多视图空间智能基准

近年来，空间智能已通过空间定位图像编辑等生成任务得到评估，然而，基于语言引导、从部分多视图观测中生成空间一致视图的研究仍不充分。我们提出 MindView，这是一个用于生成式多视图空间智能的基准，包含来自三个室内数据集、涵盖 513 个场景的 1,500 个样本。其七项任务分为两大类：几何主导任务规定相机位置和朝向的变化；语义主导任务则要求通过定位被指称的物体、理解空间关系及参考系线索，推断目标视点。对十一种生成器的评估表明，MindView 仍有很大的改进空间。配对上下文分析进一步显示，在扩展上下文设置下，十一种生成器的总体得分均有所下降。这些发现促使我们探究任务特定监督能否改善目标视图生成，以及模型能否有效利用额外的多视图证据。因此，我们在 MindView 训练数据集上对 BAGEL 进行微调，使其总体得分提高了 24.3 分，并在 MindView 的全部七项任务上均取得提升。除了生成能力的提升之外，微调后的模型在三个空间理解基准上也取得了更高分数，且训练过程中未使用这些基准的标注，这表明学习生成具有空间定位能力的视图可能有助于空间理解。为改善扩展上下文下的证据利用，我们提出 MindCue，这是一种由目标视图假设引导、无需训练的空间证据选择器。MindCue 扭转了扩展上下文下总体得分下降的情况，并优于标准上下文基线。总体而言，MindView 为生成式多视图空间智能提供了一个具体的测试平台。