arXiv cs.AI精选73

PACE-Bench:在动态环境中通过代码演化评测物理适应能力

PACE-Bench: Benchmarking Physics Adaptation via Code Evolution in Dynamic Environments

· 60天前

精选理由

为评估智能体在动态物理环境中的自适应能力提供基准。

AI 摘要

自演化智能体能够从交互经验中改进未来行为,但现有评估通常在固定执行条件下进行优化,并不测试这些条件变化后的恢复能力。为弥补这一空白,我们引入 PACE-Bench(Physics Adaptation via Code Evolution),这是一个基于模拟器的基准,涵盖六个物理领域中的 144 个源到目标适应配对。每个配对都将一个源环境与一个突变后的目标环境相连接,二者具有相同的目标和接口。一个代码驱动的设计在源环境中能够成功,但在目标环境中会失败;智能体必须在有限的尝试预算内,利用诊断性沙盒反馈,将其迭代适应为可在目标环境中工作的设计。我们比较了来自四种范式的十种自演化方法。该基准距离饱和仍很远:Reflexion + Qwen3-14B 在完整基准配对中的成功率仅为 35.9\%,而 GPT-5.5 在完整预算下解决了 Statics 子集中的 66.7\%。总体而言,这些结果表明,基于模拟器的反思比未经验证的自我修订更可靠,而记忆会将智能体锚定在早期设计上,广泛的树搜索则只是在探索而未能收敛。即使揭示确切的物理变化,也无法提高性能上限,这表明核心瓶颈在于机制重新设计,而非参数推断。数据和代码可在 https://github.com/thunlp/PACE-Bench 获取。

查看原文(arXiv cs.AI)