为可靠且高效的终端代理训练选择长时域轨迹
Selecting Long-Horizon Trajectories for Reliable and Efficient Terminal-Agent Training
精选理由
揭示终端智能体训练的最佳监督跨度,并以选择性精炼提升可靠性、效率与纠错能力。
AI 摘要
终端代理通常通过模仿较长的教师轨迹进行训练,但每条轨迹究竟应保留多少内容用于监督,尚未得到充分研究。我们研究了监督时域,即保留用于训练的轨迹 token 数量,并表明它是影响可靠性和成本的关键设计维度。随着时域延长,可靠性会提升但最终趋于饱和:在 Terminal-Bench 上,12K token 的时域比 16K 能解决更多任务($29\pm0.7$ 对比 $26\pm0.8$),同时训练时间减少 30\%。时域还会塑造代理的行为:较短的时域会导致过早终止,中等时域能够促成有效的错误恢复,而较长时域则会导致过度坚持。我们通过偏差—复杂度界对这种饱和现象进行了分析:更长的监督会降低时间监督偏差,但由于后期历史更加异质,也会增加有限样本估计误差。在此分析的指导下,我们提出选择性长时域精炼方法:先在较短前缀上进行训练,然后仅针对在预热模型下最有可能出现的后续部分进行精炼。该方法始终优于完整的长时域训练。在 16K 时域下,它将成功尝试次数从 $110\pm2.7$ 提高到 $126\pm2.1$,并将至少在八次尝试中成功六次的任务数从 $9\pm0.7$ 提高到 $14\pm0.6$;仅使用一半的长时域数据时,仍可达到 $122\pm2.4$,同时将训练时间缩短 23\%。这些收益可迁移至不同基准:在 Terminal-Bench v2.0 上,性能从 $64\pm2.6$ 提升至 $73\pm2.1$;在 OpenThoughts-TBLite 上,则从 $137\pm2.7$ 提升至 $155\pm2.2$。对于长时域监督而言,选择正确的轨迹比对所有轨迹进行训练更为重要。