arXiv cs.AI精选74

AgentTime:智能体能否估计并控制自身的运行时长?

AgentTime: Can Agents Estimate and Control Their Own Runtime?

· 6天前

精选理由

提出基准评测智能体能否预估时间并按时长持续工作,为提升长时自主运行的可靠性提供依据。

AI 摘要

AI 智能体的一项关键控制能力是管理运行时长。这项能力需要时间感知,即预测和估计实际经过的时间,并控制自身行动。既有研究主要关注时间感知,但原生智能体运行框架中的时长遵循与控制能力仍未得到探索。我们提出 AgentTime,这是一个用于测试智能体能否按要求的时长工作、预测自身运行时长,以及在事后估计已用时间的基准。该基准包含来自 18 个来源的 222 项任务,涵盖编程、计算机使用、智能体任务和自动化研究。在时长遵循实验中,我们附加一条指定工作时长的指令,要求的时长从约一分钟到数天不等。智能体遵循这些指令的准确性差异显著:Claude Code 中的 Fable 5.1 与要求运行时长的典型偏差倍数为 2.9$\times$,相比之下,Codex 中的 GPT-6 Astra 仅为 1.2$\times$。然而,仅仅符合要求的运行时长,并不能证明智能体始终在执行任务。在经过审查且记录可分类的 158 次 Astra 运行中,有 14 次在看似完成任务后明确进入了休眠。在预测实验中,预测值往往高估自然运行时长。在回顾性实验中,移除时间信息后,Sol 和 Astra 的偏差增至两倍以上,Fable 的偏差也接近翻倍。智能体能够完成任务,并不保证它能控制自身用时,或在要求的整个时段内持续工作。要让智能体在长时间跨度内可靠、安全且自主地运行,就必须对任务完成能力和时间控制能力都进行评估。

查看原文(arXiv cs.AI)