分岔路径：学习可预测结果的 LLM 智能体轨迹表示
Divergent Paths: Learning an Outcome-Predictive Representation of LLM Agent Trajectories
精选理由
将智能体轨迹映射为可预测成败的表示，提前识别失败并减少训练计算量，同时保持性能。
AI 摘要
arXiv:2610.19614v1 公告类型：新论文 摘要：在本研究中，我们将智能体轨迹重新表述为动作与环境观测的共享嵌入空间中的路径。我们发现，同一任务的成功与失败执行轨迹在该空间中呈现分离；在三个智能体基准和三个策略模型上，简单的任务专用判别器预测留出执行轨迹结果的 AUROC 最高可达 0.95。为跨任务利用这一信号，我们提出了 Precog-RM，这是一个基于 Transformer 的模型，通过元学习获得一种可在少样本场景下预测结果的表示。我们表明，Precog-RM 能够泛化到未见过的任务和模型，并在轨迹终止前很早就对其是否成功作出高置信度预测。在 Tau2-Bench 上，将 Precog-RM 部署为组相对策略优化（GRPO）的提前停止控制器，可使训练浮点运算量最多减少 47.3%，同时保持与基线 GRPO 相当的性能。