RELACE：面向长时程语言智能体的基于回顾似然的动作功劳估计

arXiv:2610.07349v1 公告类型：新 摘要：Group Relative Policy Optimization (GRPO) 通过从 rollout 组中估计优势，避免使用单独的 critic。然而，对于多轮智能体而言，轨迹级监督所提供的功劳信号粗粒度且噪声较大：终止奖励无法定位错误，还可能在惩罚错误的同时连带惩罚有用动作。Group-in-Group Policy Optimization (GiGPO) 及后续方法通过基于状态条件的比较来细化监督，但其功劳估计仍容易受到后续决策和结果的影响。我们提出 RELACE，即一种无需 critic 的框架，将回顾式动作评估与基于状态条件的优势估计相结合。RELACE 在动作原始上下文和加入结果信息的上下文中，分别通过教师强制的似然评分来评估已执行动作。对这两种似然进行比较，可得到一个经轨迹归一化的回顾因子，该因子捕捉动作合理性随结果发生的变化，而不仅仅是事后合理性。我们利用该因子对折扣任务回报重新加权，并通过比较同一任务内来自等价状态的动作之间的加权回报，构造局部优势。这种方法将回顾相关性与观测到的奖励相结合，产生细粒度的功劳信号，从而补充轨迹级的 GRPO 监督。时间平滑和成功保护掩码进一步提高了局部信号的稳定性。RELACE 在功劳估计过程中既不需要辅助价值模型或奖励模型，也不需要额外的自回归 rollout。在使用 Qwen2.5-1.5B-Instruct 和 Qwen2.5-7B-Instruct 于 ALFWorld 和 WebShop 上进行的实验中，RELACE 相比 GRPO、GiGPO 和 HCAPO 均取得了显著提升。对于 1.5B 模型，RELACE 在 ALFWorld 上的成功率达到 $96.35\%$，在 WebShop 上达到 $79.43\%$，分别比 GiGPO 高出 $5.47$ 和 $5.60$ 个百分点。