Async-RBench：LLM 智能体异步任务执行基准评测

大语言模型（LLM）智能体越来越多地以异步方式执行任务：主智能体在子智能体运行期间继续工作，而任务状态可能在子智能体的结果返回之前发生变化。主智能体必须决定更新或保留哪些工作、重复哪些检查，同时避免进行禁止的更改。仅凭最终任务是否成功，无法判断这些结果是否得到了正确处理，而自然发生的异步结果到达过程又难以复现。我们提出 Async-RBench，一个用于评测 LLM 智能体异步任务执行能力的基准，包含覆盖八种场景的 200 个可执行任务。场景控制器根据预定义的任务状态条件调控结果交付，而 Event Response Contract（ERC）则规定每次响应必须更改、保留、避免和重新验证的内容。Dynamic Replanning Score（DRS）对响应过程和结果赋予相同权重，并与任务成功率分开报告。我们评估了九个智能体，发现其 DRS 得分介于 19.2 至 45.1 之间，在重复报告和子智能体失败场景下得分最低。在我们的执行协议下，全部九个智能体在异步交付模式下的任务成功率均低于批量交付模式（平均分别为 26.0% 和 29.7%）。对于其中三个智能体，提示主智能体在每次收到结果后重新制定计划，仅使 DRS 提高了 2.6 至 3.5 分。总体而言，这些发现凸显了可靠执行异步任务所面临的挑战，以及在评估端到端任务成功率的同时，评估智能体如何处理传入结果的必要性。