无需 Rollouts 的任务难度预测

arXiv:2608.05797v3 发布类型：替换 摘要：评估和训练自主智能体的一项根本性挑战，是衡量其所尝试任务的内在难度。估计这一量对于创建合成数据或基准的环境设计者，以及构建训练课程都很有用，从而有助于降低计算成本。随着智能体（尤其是基于 LLM 的智能体）进入更长时域的领域，这类估计变得越发重要，因为在这些领域中，经验性的试错会成为严重的计算瓶颈。然而，现有工作大多局限于静态任务，并依赖于评估指标；正如我们所展示的，这些指标可能无法完整反映预测性能。在本文中，我们研究了跨越 17 个智能体基准的事前难度预测，这些基准涵盖编程、数学、机器学习、网页导航、函数调用等领域。我们发现，AUC 可能掩盖较差的难度估计；识别出 token 级熵这一有用的预测信号；并展示了预期难度与观测难度之间的残差如何揭示环境缺陷，例如数据污染和不可行性。