SquidAgent:明智并行,高效协作
SquidAgent: Parallelize Wisely, Coordinate Efficiently
精选理由
介绍一种按代价智能并行的多智能体调度方法,降低协作开销并显著提速。
AI 摘要
基于 LLM 的智能体能够解决复杂的多步骤任务,但顺序执行会带来显著延迟。原则上,在多个智能体之间并行分配工作应当实现接近线性的加速。然而,现有的并行多智能体系统往往比单智能体基线运行得更慢。我们将这一差距归因于并行执行会产生、而串行智能体能够避免的两项隐性成本。第一是重新探索成本:并行工作者需要重复投入精力,重建编排器已经掌握的上下文,例如先前的决策;而在串行执行中,这些上下文可以被隐式继承。第二是对齐成本:需要额外开销来协调各个独立生成的输出之间的不一致之处。基于此,我们推导出一项原则性的决策标准:仅当某一层的关键路径成本加上重新探索和对齐开销低于相应的串行成本时,才应将该层并行化。尽管这一标准天然以实际耗时表示,但我们发现,当要求 LLM 估计任务持续时间时,其校准效果较差。为解决这一问题,我们改为使用预测输出 token 数来衡量成本;通过实证发现,相比实际耗时,LLM 能够更加可靠地估计输出 token 数。基于这一 token 级标准,我们提出了 SquidAgent。它在单次规划步骤中估计所有 token 预算,直接从编排器的会话中为每个工作者创建分支,以消除重新探索成本,并用预先生成的共享约定块取代事后协调,将对齐转化为有界的前置成本。随后,确定性调度器逐层应用该标准。实证结果表明,与 Claude Code 相比,SquidAgent 的平均吞吐量提升了 2.2 倍,平均实际耗时加速了 2.6 倍;与最强的多智能体基线相比,吞吐量提升了 2.0 倍。