行动前先思考：LLM Agent 的决策闸门

LLM Agent 日益通过外部工具执行具有重大影响的操作，但它们提出的操作往往未经独立验证其是否符合政策要求或是否已完成任务便被执行。我们推出 JevAct，这是一种运行时验证框架，可在选定的 Agent 操作执行前拦截这些操作，并支持基于反馈的纠正。JevAct 将领域政策编译为可执行的状态检查和结构化问题，由仅预填充决策模型进行评估；该模型无需依赖 LLM 生成即可输出基于概率的判断。通过将工具状态事实的确定性验证与对对话上下文的概率性评估相结合，该框架能够识别潜在的无效操作和过早的任务终止，并为有限范围内的修订提供针对性反馈。JevAct 独立于底层 Agent 模型运行，无需修改其参数或工具。我们在 $τ^2$-bench Airline 和 Telecom 任务以及 BFCL 上，对十一个 LLM Agent 进行了评估。结果表明，JevAct 在多个模型和基准测试中提升了 Agent 的可靠性；在 Telecom 和 BFCL 上的增益尤其稳定，而在 Airline 上的表现则更加复杂。总体而言，这些结果表明，将结构化决策模型与可执行验证相结合，能够提升使用工具的 LLM Agent 的可靠性。