UTP-Bench: 面向不确定性感知的旅行规划基准

大型语言模型（LLMs）近期在自动生成旅行行程方面展现出强大能力。然而，真实世界中的旅行规划本质上是不确定的：交通延误、客流波动以及意外的随机延迟，常常会使原本可行的行程失效。现有的基准，如 TravelPlanner 和 TripCraft，假设环境是确定性的，只评估静态约束是否满足，而忽略了在这些不确定性出现时生成的计划是否仍然具有鲁棒性。为了解决这一限制，我们提出 UTP-Bench1，一个面向不确定性感知旅行规划的大规模基准。该数据集整合了覆盖印度504座城市的真实旅行数据，包括景点、餐厅、住宿以及多模态交通网络。为了模拟真实世界中的扰动，UTP-Bench 纳入了从主要城市收集的经验性延误分布和客流密度模式，从而能够在随机条件下评估旅行计划。我们进一步提出三项评估指标，分别是 Buffer Adequacy Score (BAS)、Crowd-Aware Timing Score (CATS) 和 Transport Delay Absorption Score (TDAS)，用于量化生成的行程在面对交通延误和客流变化时维持鲁棒性的能力。使用 GPT-5、Qwen3、Mistral 和 Phi-4 等先进 LLMs 的实验表明，模型生成的计划与人工制定的计划之间存在显著差距，尤其是在时间缓冲、延迟感知的交通调度以及人群敏感规划方面。