PACT：面向多轮工具使用智能体的特权轨迹协同训练

arXiv:2606.16215v2 公告类型：替换并交叉发布 摘要：多轮工具使用智能体必须在多轮交互中进行推理、调用工具并根据观测结果作出调整。对此类智能体进行后训练颇具挑战：强化学习虽然与仅依赖提示的推理设置相匹配，却常常面临奖励稀疏和信用分配能力不足的问题；而基于专家轨迹的监督微调虽能提供密集的过程监督，却可能使模型过度受限于固定轨迹。为解决这些问题，我们提出 PACT，一种面向多轮工具使用智能体的特权轨迹协同训练框架。其核心思想是仅将专家轨迹用作训练时的优化信号，而非轨迹生成时的提示。PACT 在生成交互轨迹时仍仅使用提示，随后通过两种互补信号利用专家轨迹指导优化：一种是以轨迹为条件的强化学习代理目标，在专家轨迹上下文下评估仅基于提示生成的交互轨迹；另一种是组件感知的监督微调损失，对推理和工具调用组件提供逐步退火的过程监督。为减少对仅在训练时可用的轨迹上下文的过度依赖，PACT 引入了仅提示锚定机制，采用标准的仅提示强化学习更新。在 FTRL、BFCL 和 ToolHop 上的实验表明，PACT 始终优于基于监督微调和强化学习的强基线。进一步分析证实了这两种训练目标的互补性，以及组件感知监督和仅提示锚定机制的益处。这些结果彰显了特权轨迹协同训练在多轮工具使用学习中的有效性。项目页面：https://zhenbangdu.github.io/pact-project-page。