WorldBench：面向多语言智能体的文化契合基准

尽管由 LLM 驱动的智能体在复杂环境中被越来越多地用于解决多步骤任务，但现有基准很少测试状态保持、跨语言表现以及在真实、具身场景中的应用。为了解决这些问题，我们提出 WorldBench：一个全面的多语言基准，涵盖真实的、基于人物设定的日常工作流，智能体可以通过结构化动作在沙箱中执行。WorldBench 包含跨七种语言和八种文化的 1,600 个任务，并通过具备特定语言和文化专业知识的人类标注者反馈进行了筛选和优化。在评估方面，我们扩展了以往工作的指标，并引入 Constrained Task Success (CTS)，该指标结合自然语言指令和测试环境，通过确定性评估和 LLM-as-a-Judge 评估，对任务完成情况、最小改动以及其他互补指标进行评分。我们的实验表明，前沿模型的 CTS 最高仅达到 49.2%，所有模型在正确性与环境保持之间都表现出显著差距。因此，我们表明当前智能体在多语言、智能体化场景中仍然较为脆弱，尤其是在长程任务和状态保持约束下。