LLM Agent 会执行它们所声明的计划吗？从规划模式声明到特定模式执行

大型语言模型（LLM）使 Agent 能够通过生成计划并在环境中执行计划来解决长时程任务。然而，成功的规划需要两种不同的能力：为任务选择合适的计划，以及忠实地执行该计划。现有的规划器—执行器系统可能在任一阶段失败，而仅凭最终任务是否成功无法区分计划选择失败和执行失败。因此，我们研究了 Plan Declaration--Execution Gap，并提出 Planning-as-Routing：由 LLM 声明四种规划模式之一——Predefined、Sequential、Hierarchical 或 Search，再由确定性路由器将任务分派给相应的特定模式执行器。在四个基准测试和三个 LLM 上，我们发现了三个一致的现象。第一，通用的 Plan+ReAct 往往无法保持所声明的规划结构，尤其是在计划较长时：在三个基准测试中，仅有 22%—45% 的轨迹保留了该结构，而特定模式执行器能够强制执行预期结构。第二，规划模式的有效性因环境和模型而异：Search 在 ALFWorld 上表现最佳，Hierarchical 在 SWE-bench 上表现最佳，而在同一基准测试中，最强模式可能因模型而异。第三，最大的收益来自执行环节：相较于 Plan+ReAct，特定模式执行器将 ALFWorld 上的任务成功率从 0.48 提升至 0.92，并将 SWE-bench Verified 上的任务成功率从 0.36 提升至 0.44。然而，当前的 LLM 尚不能可靠地为每个任务选择最强模式，尽管少样本示例在某些基准测试—模型组合中能够改善模式选择。总体而言，可靠的 Agent 规划既需要有效的模式选择，也需要忠实的执行：路由显著缩小了执行差距，而针对任务的模式选择仍是一个有待解决的问题。