ATLAS-Bench：面向本地搜索的智能体工具使用基准

可靠的本地搜索对于 LLM 智能体支持日常决策和长期规划至关重要，因为它能够根据用户在特定时间和地点的需求，找到符合要求的场所。然而，现有基准对以下方面的覆盖仍然有限：搜索结果是否满足强制性要求、是否考虑用户偏好，以及事实性和体验性判断是否以场所属性和评价为依据。我们推出 ATLAS-Bench，这是一个涵盖三个地区、包含 1,200 个查询的基准，基于平台上的真实搜索事件，并结合场所属性、评价和现有用户画像进行扩展构建。每个查询都会区分强制性要求与偏好、事实条件与主观判断，并为每项要求提供支持证据和检查标准。查询通过迭代式断言检查和跨模型审查进行验证。我们还推出 ATLASBox，这是一个标准化评测环境，配备搜索工具和固定的兴趣点（POI）知识库。给定查询、时间戳和位置后，智能体会搜索场所属性和评价，推荐有证据支持的选项，或报告不存在满足全部强制性要求的场所。我们评估答案质量、轨迹质量和执行成本。在对 11 个模型的 14 种配置进行评测时，GPT-6-Luna 在返回的推荐结果中取得了最高的约束满足率（71.5%）和事实准确率（95.6%）。然而，与 GLM-5.3 相比，它针对可满足查询返回至少一个可接受推荐的比例更低（67.3% 对 85.3%）。这些结果凸显了这样一项挑战：既要满足个体要求，又要在不同查询中提供可实际使用的推荐。