RuleTrek：复杂场景中智能体规则推理的基准评测

大语言模型（LLMs）正日益承担专业领域中复杂的现实世界任务。然而，当场景信息分散在多个文件中时，识别并正确应用领域特定规则仍然具有挑战性。现有的规则推理基准通常仅使用少量事实陈述来表示场景，简化了相关规则的识别与应用。为弥补这一不足，本文提出了 \textbf{RuleTrek}，一个面向复杂场景中智能体规则推理的多领域基准。其以规则为基础的构建流程提取结构化规则图，生成针对特定规则的子场景，并在确保一致性与可解性的同时逐步组合这些子场景。为系统评估复杂场景中的智能体规则推理，RuleTrek 在交互式工作空间中评估三项能力：规则识别（RI）、规则演绎（RD）和端到端规则推理（E2E）。对 11 个前沿大语言模型的实验表明，RI 和 RD 的最高得分分别仅为 62.47\% 和 60.43\%，而 E2E 得分介于 26.97\% 至 55.29\% 之间。这些结果表明，当前的大语言模型智能体在复杂场景中的规则推理方面仍面临重大挑战。我们已在 \href{https://github.com/yuan247/RuleTrek}{RuleTrek} 公开代码和数据集。