AdaStep：面向智能体强化学习的自适应步骤信用加权

arXiv:2610.03223v1 公告类型：new 摘要：长时程 LLM 智能体通常使用稀疏的结果奖励进行训练，使得轨迹级目标过于粗糙，难以区分各个决策所作出的贡献。步骤级信用分配提供了更细粒度的监督，但其估计可能并不可靠，因为观测到的回报还取决于后续动作、环境转移以及轨迹长度。我们提出 AdaStep，一种自适应步骤信用加权方法，用于控制每个基于组得到的局部优势对轨迹级信号的影响程度。我们将这一加权过程表述为对潜在步骤优势的均方误差估计问题，并在明确的条件采样假设下推导出最优的逐状态收缩系数。该系数可以从信号与总方差的角度进行解释：当回报变化可归因于所选动作时，它会保留局部信用；当变化主要由下游随机性主导时，则会抑制局部信用。AdaStep 仅需轻量级的标量计算，无需评论家、额外采样轨迹或额外的模型推理。在 ALFWorld、WebShop 和 ScienceWorld 上使用三种模型骨干开展的实验表明，AdaStep 以较低的计算成本，相较基线方法取得了稳定的改进。