LEAP：为 LLM 智能体学习高效的动作提议

arXiv:2610.02670v1 公告类型：新 摘要：众所周知，LLM 智能体在执行过程中速度缓慢。智能体一次完成一个任务步骤。在每个步骤中，它先进行推理，然后选择要执行的动作。只有前一步完成后，下一步和相应动作才能开始。推测解码通过起草并验证推理词元，加速了推理阶段的执行过程。近期研究也开始将类似思想应用于动作阶段。这些研究使用现成模型（通常是大型模型）为目标模型起草动作提议，由目标模型进行验证。大型起草模型与目标模型更容易达成一致，但提出动作所需时间更长；小型现成模型速度快，却很少能做出与目标模型相同的决策。我们提出了一个更一般的问题：动作推测的端到端加速效果由什么决定？为回答这一问题，我们为推测轮次构建了一个延迟框架。该框架比较每一轮获得的收益与付出的代价。收益取决于起草模型预测目标模型的准确程度，以及任务结束前最多可以执行多少个步骤。代价则来自动作起草、等待目标模型验证以及工具执行。在该框架的指导下，我们提出了 LEAP（Learning Efficient Action Proposals），通过在目标模型的动作序列上训练起草模型，使其在保持较小规模的同时提升准确性。借助一个小型 0.6B 模型，LEAP 在大多数决策上都能与目标模型保持一致，使智能体的端到端实际耗时最高提升 60%，且不会系统性地改变任务成功率。在多种数据集、目标模型和起草模型上，该框架能够解释实测加速效果中的大部分。我们还表明，起草模型无需事先收集轨迹即可进行在线训练，并达到与离线训练相当的性能，从而使 LEAP 具备在真实世界中部署的实用性。