你的长程基准测试真的有深度吗？终端任务深度的度量与合成

长程终端任务被用于评估和训练智能体。由于人工整理的数据集稀缺，许多合成方法应运而生。这些方法通常以模型完成任务所需的轮数衡量任务长度，并以 LLM 在生成过程中设定的标签衡量任务难度。然而，我们发现，轮数在很大程度上反映的是模型的习惯，而不只是任务本身的要求；这些标签也几乎无法反映模型的任务通过率。我们用工作量和深度来描述终端任务：工作量是任务所需的操作数量，深度则是必须按顺序执行的轮数，因为每一轮的命令都只能在读取上一轮的输出后才能选择。我们将深度估计为预先告知智能体、且仍能使其通过任务的最小轮数上限，并据此审查了六个现有数据集中的 734 个任务。合成方法增加的主要是工作量，而非深度：在已解决的合成任务中，94% 可在三轮内通过；但与轮数不同，深度能够在工作量之外进一步预测难度。我们提出了 DEPTH：生成智能体在真实软件环境中逐段编写每个任务，在编写每个片段之前先实际执行该片段，并从其留下的状态开始构建下一片段。我们生成的 105 个任务在深度和工作量上均超过所有受审查的数据集，而且六个当前模型中，没有任何一个能通过其中一半的任务。使用这些任务的执行轨迹对 Qwen3-8B 进行微调，提升了它在两个终端基准测试上的表现。