MAP：面向现实世界地点的多模态可访问性规划基准

我们提出 MAP，这是首个用于评估多模态 AI 系统作为辅助工具，在用户规划前往现实世界地点时满足无障碍需求的基准。在我们的评估中，系统会收到验证或推荐满足某项无障碍需求的兴趣点的请求。MAP 包含两项新评估：面向可访问性规划的主张验证，用于评估地点信息和所述无障碍特征是否有依据，并识别满足请求的无障碍特征的地点；面向可访问性规划的视觉证据检索，用于检查多模态 AI 系统能否为所请求的地点和无障碍特征选择视觉证据。我们的方法通过在预定时间评估系统并刷新真实值数据，支持在地点信息和无障碍信息可能随时间变化的场景中比较 AI 系统。该基准基于自动评分，并对部分回复进行人工评分。