arXiv cs.LG精选80

论时间管理:迈向守时且高效的时间预算型 AI 智能体

On the Clock: Towards Punctual and Productive Time-Budgeted AI Agents

· 5天前

精选理由

深度 93 / 新颖度 88,来自 arXiv cs.LG。

AI 摘要

arXiv:2610.10833v1 发布类型:cross 摘要:我们研究小型 LLM 智能体能否在明确的实际时间预算下有效运行,即既遵守分配的运行时长,又高效利用可用时间。我们在 MLE-Bench Lite 的五项竞赛中评估 Qwen3.6-27B,并在 Zork I(Jericho)上评估 Qwen3-4B。这两个智能体基准测试中,额外的计算时间都能切实提升性能。在最简单的设置中,预算仅在提示词中说明,智能体无法将所述预算转化为对时间的受控使用。这些失败源于时间感知方面的不足:一方面,测试框架不提供计时反馈;另一方面,智能体无法可靠地预估行动所需的时长,也没有学会将可用时间映射到合适策略。我们研究了两类互补的干预措施:通过测试框架公开计时信息并强制执行截止时间的机制,以及采用预算感知奖励的强化学习。通过测试框架注入计时信息后,Qwen3.6-27B 对预算的遵守程度显著提升,且性能没有可测量的损失;加入强制执行机制后,预算遵守程度进一步提高。在 Zork I 上,使用 GRPO 的强化学习实现了近乎完美的预算遵守,并且能够泛化到训练期间未见过的保留预算;但在 MLE-Bench 上,与未经训练的测试框架相比,它并未提升任务性能。当智能体能够遵守预算后,它们仍然无法利用额外时间提升任务性能。经过强化学习训练的策略学会了何时停止,但往往会通过重复行动来填满额外时间;而在多个预算上进行 GRPO 训练,往往会使策略趋向于为最短预算学到的策略。我们的结果揭示了时间遵守与高效时间分配之间的差距,而这仍然是预算条件型智能体面临的核心挑战。

查看原文(arXiv cs.LG)