Humanize MLE Agents:通过多智能体会话交替突破单智能体极限
Humanize MLE Agents: Multi-Agent Session Alternation Beyond Single-Agent Limits
精选理由
通过交替重置上下文的多智能体协作,提升长周期机器学习工程任务的效率与竞赛成绩。
AI 摘要
现有基于 LLM 的长程机器学习工程(MLE)智能体方法通常采用上下文工程,通过定制运行框架来管理工具、技能和积累的经验。然而,我们发现,随着单次会话执行时间延长,智能体的推理强度会下降,进展也随之放缓,我们将其概括为“长程减速”;随着底层模型能力提升,这些定制运行框架带来的收益会消失,我们将其概括为“框架陈旧化”。这些发现表明,其收益可能无法跨版本持续存在,因此我们提出一种工作流层面的方法,让智能体跨会话接续彼此的工作。我们将这些交替进行的智能体会话建模为上下文重置半马尔可夫决策过程(CR-SMDP),给出交替机制突破单智能体参考极限的充分条件,推导出显式的实验预算界,并刻画会话上限在何种条件下能够保留这一优势。在该分析的指导下,我们提出 Humanize MLE Agents(HMA):让两个智能体在共享工作空间中交替工作,将每次会话限制为最多执行 k 次实验,并在会话之间重置上下文,无需额外的任务专用运行框架或先验知识补充。在 MLE-bench 的 75 项 Kaggle 任务上,HMA 的任意奖牌获得率达到 78.2%,创下当前最佳水平;仅使用最强开源基线四分之一的时间预算,就比其高出 8.0 个百分点。此外,在涵盖五组异构智能体配对的六种配置中,HMA 相较于各组成智能体的基线,任意奖牌获得率平均提升 6.4 个百分点,展现出跨配对的通用性。一个补充的内核优化案例达到了 878 个周期,与社区排行榜榜首的差距不超过 1.6%,表明该方法也适用于 MLE 之外的任务。