VETTA：协调多轮 LLM 智能体的回合级与 Token 级信用分配

arXiv:2610.08402v1 公告类型：新增 摘要：多轮 LLM 智能体通常在多次交互中获得稀疏的任务反馈，同时逐个 Token 生成每次响应。这带来了两个相关的信用分配问题：哪些响应帮助实现了最终结果，以及每次响应中的哪些生成决策发挥了作用？现有方法通常只关注其中一个层级：回合级方法评估完整响应，却无法区分响应内部的决策；Token 级方法可以跨回合传播反馈，却没有显式地为每个响应建模信用。这些互补的局限性促使我们在两个层级同时学习信用，并在一次策略更新中对其进行协调。我们提出 VETTA，一种通过共享的轻量级评论器中的独立头部，联合学习回合级和 Token 级价值的信用分配方法。VETTA 沿两个时间序列计算优势，并将每个回合的优势与响应内部中心化的 Token 残差相结合，用于 PPO 更新。此外，为降低价值学习成本，评论器仅保留用于初始化 actor 的预训练检查点中的前若干个 Transformer 模块。在两个具有挑战性的智能体基准 ALFWorld 和 WebShop 上，使用 Qwen2.5-1.5B-Instruct 时，VETTA 相较于 PPO 的成功率分别提升 37.5% 和 22.3%；使用 Qwen2.5-7B-Instruct 时，成功率分别达到 95.5% 和 76.0%。评论器深度对比实验进一步表明，在显著降低评论器侧计算量的同时，仍可取得出色的任务性能。这些结果表明，一个紧凑的共享评论器能够协调回合级与 Token 级信用，在保持价值估计高效的同时提升智能体性能。代码见 https://github.com/Jiaju-Chen/VETTA-official。