Tev:通过稠密进展奖励扩展长时域智能体环境
Tev: Scaling Long-Horizon Agentic Environments with Dense Progress Rewards
精选理由
深度 90 / 新颖度 88,来自 arXiv cs.AI。
AI 摘要
长时域智能体凭借能够自主执行具有经济价值的任务而日益受到关注,其工作时长可从数小时持续到数天。这一能力对于自动化发现和递归自我改进(RSI)至关重要。然而,开源模型在长时域任务上仍然表现不佳,主要原因在于缺乏训练数据和可行的训练方案,而同时扩展这两者十分困难:长而复杂的任务难以整理和验证,且其奖励通常十分稀疏。我们同时解决了这两个问题。首先,我们推出了 Tev-Gym,这是首个具备可验证、稠密且渐进式奖励的长时域智能体训练数据集,涵盖 7 个领域的 1,170 个已验证任务环境。该数据集采用“潜在世界优先”的方法构建:首先建立一个潜在世界,即对任务领域、工作流以及每一步之后预期状态的完整且正确的隐藏规范。随后,每个任务都根据该规范逐步呈现为面向智能体的环境,从而实现可控的复杂度和自然的进度指标。其次,我们将这一指标转化为训练方案:通过进度势能奖励塑形(PPRS),将进度转化为每一步的稠密奖励,从而提高训练效率,并使原本难以训练的任务变得可训练。采用该方案训练得到的 Tev-27B,在 Agents' Last Exam 的计算与数学科学领域(ALE-CM)上取得了显著提升,在 Pass@5 指标上达到 GPT-6 Astra 和 Claude Opus 5 的水平。尽管仅使用与 ALE 相关的数据进行训练,它仍能泛化到 Terminal-Bench(TB)3.0 和 4.0 子集,超过 GLM 5.2 和 Gemini 3.7 Flash,并在 TB 2.1 等中等时域任务上达到 Claude Opus 4.8 的性能水平。