轨迹即状态：LLM智能体团队的精确信用分配

arXiv:2603.06859v4 发布类型：替换 摘要：对于LLM智能体团队而言，信用分配关注的是每条消息的价值，但这一问题大多被当作预测问题处理：学习得到的评论器、轨迹级分数或智能体消融，通常被用来替代定义信用所需的反事实，而后者很少真正执行。通过共享上下文进行通信的团队则有所不同：当下游智能体读取的所有内容都写入轨迹时，轨迹就是状态，而这一反事实可以被执行。于是，信用信号可以像任何估计量一样，通过偏差、方差以及与独立参考的吻合度来评判。C3，即通过反事实延续进行信用分配，在某个决策点替换一条消息，并将运行继续推进至终端奖励，因此其信用估计是无偏的，除蒙特卡洛误差外完全精确。给定采样得到的备选项，该误差的方差遵循一个推导出的规律，其中不包含与智能体数量相关的项；在包含2至10个决策点的6个工作流上，观测到的噪声符合这一规律。在2智能体链上，仅通过4次延续，C3相对于由16次延续构成的参考，其备选项排序的秩相关为0.69，接近两个此类参考彼此一致时的0.73；在相同rollout上训练的评论器则达到0.29。将C3用作训练2智能体团队时的优势函数，其表现优于我们比较中更强的基线MAGRPO；与MAPPO相比，训练token消耗减少了37%，因为只需重新生成决策点下游的消息。当轨迹就是状态时，信用无需被预测；它可以是精确的。