MC-EvoBench:审计 Minecraft 智能体中经验驱动的自我改进
MC-EvoBench: Auditing Experience-Driven Self-Improvement in Minecraft Agents
精选理由
提供可控基准,区分真实能力进化与资源继承及执行瓶颈,检验 Minecraft 智能体经验迁移是否可靠。
AI 摘要
具身递归自我改进的一项核心挑战,是让智能体将交互历史转化为能够跨世界保留、并迁移至后续任务的能力。仅凭已保存的记忆或成功的最终动作,并不能证明智能体获得了可复用的能力;评估必须将能力变化与沿用的资源、不均等的源任务接触量以及早期执行失败区分开来。我们构建了 MC-EvoBench,这是一个受控的 Minecraft 基准,包含由 19 条已注册演化链组成的固定目录,其中包括 12 条主要评估链和 7 条校准或探测链,以及三组用于迁移评估、与图结构对齐的配对探测任务。该基准将每项任务表示为任务状态图,定义阶段级环境验证器,分配相匹配的源任务与目标任务角色,重置目标世界,并且只允许预先声明的智能体产物跨越源任务与目标任务之间的边界。对于每项探测,我们在匹配的环境步数预算和五个随机种子下,评估无先验、相关、不相关和打乱顺序的源任务条件;报告 TSR、WGP 和 VMP,并保留溯源记录。该基准揭示,控制器变体与规划器支持的变体之间存在一致的直接能力差距,而相关经验并未带来稳定的迁移效果:它未能改善任何一项工具探测的表现,在木材种类探测中的微小收益依赖于单个随机种子,且所有区间均包含零。阶段审计进一步表明,早期木材采集与合成环节的瓶颈往往导致后续能力无法被观测。因此,MC-EvoBench 为持久且可迁移的具身能力提供了一个受控测试平台。代码和数据可在 https://github.com/xzw-ustc/mc-bench-open-source 获取。