arXiv cs.LG精选73

在测试时 AI4AI 中学习用于智能体执行环境设计的元技能

Learning Meta-Skills for Agent Harness Design in Test-Time AI4AI

· 11天前

精选理由

揭示元技能如何构建更优智能体环境,提升未见任务表现并推动系统自我改进。

AI 摘要

arXiv:2609.38143v2 公告类型:replace-cross 摘要:智能体的性能取决于推理能力以及其所处的行动环境。我们研究测试时 AI-for-AI,探讨在两个模型的权重均保持不变的情况下,Builder 如何学习为 Target 构建更优的执行环境。为了使 Builder 的经验能够复用,我们提出 Meta-Skill:规定何时需要支持以及应提供哪些资源的原则。Builder 从 Target 在开发集上的执行反馈中学习这些原则,然后利用冻结的技能库为未见过的任务构建执行框架。在 Harness-Bench 和 NewtonBench 上,完整的元技能库相较于不使用技能进行构建,使宏平均性能提升了 8.95 个百分点;相较于将同一技能库直接提供给 Target,则提升了 12.02 个百分点。这些结果凸显了将经验转化为可执行支持的价值。当同一模型同时承担两种角色时仍能取得性能增益,进一步表明了一条通过学习构建更优环境来实现系统级自我改进的路径。

查看原文(arXiv cs.LG)