TreeHCA：面向多轮 LLM 智能体的后见引导探索与信用分配

arXiv:2610.12828v1 公告类型：新论文 摘要：结果监督的组相对策略优化（GRPO）为 LLM 智能体轨迹中的每个词元分配相同的优势值，未能区分有益和无益的决策。后见信用分配（HCA）可以细化这一反馈，但其估计依赖于轨迹中在关键历史状态下包含具有信息价值的备选路径。我们提出 TreeHCA，将后见引导探索与后见信用分配相结合。TreeHCA 利用参考答案似然的变化，重新访问中间历史状态并采样替代性的后续轨迹，从而构建由推理和工具交互组成的树。由于这种探索改变了所采样后续轨迹的分布，我们推导出相应的逆后见重要性校正，其中包括一个精确的有限样本池恒等式。我们在归一化的树回传中使用这一结构，将终局结果传播为轮次级优势值。这种共享的后见结构是 TreeHCA 的核心设计原则，将具有信息价值的探索与后见引导的信用分配联系起来。在七个问答基准和三个 Qwen 骨干模型上，TreeHCA 的总体精确匹配率均优于所有基线，验证了将探索与信用分配配对用于多轮 LLM 智能体训练的有效性。我们的代码已发布于 github.com/TheBlackCat22/TreeHCA。