arXiv cs.AI精选78

ReGE:通过经验合成打造更强大的智能体

ReGE: Stronger Agents through Experience Synthesis

· 2天前

精选理由

将多次执行中的经验与失败压缩成行动指南,让智能体以更少成本提升任务成功率。

AI 摘要

对交互式任务的反复尝试能够揭示事实、有用的操作以及失败经验,为后续执行提供参考。我们提出 ReGE,一个将这些记录下来的经验转化为指导、用于新一轮尝试的框架。其主要实现 ReGE-Syn 通过单次教练调用,将有限的执行记录与可用产物联合合成为自包含的指导,将任务特定的发现与建议采取的行动及相关陷阱联系起来。学生从任务的初始环境状态出发,根据当前观察调整这些指导。源经验生成、合成和学生执行均使用同一个基础模型,无需更新参数,也不依赖更强的教师模型。在四个基准测试中,与无指导执行相比,ReGE 使 GPT 的准确率平均提高了 9.9 个百分点,Claude 则提高了 8.8 个百分点。在匹配的 BrowseComp-Plus 子集上,在观察到任务成功的情况下,相较于适配后的 AggAgent,ReGE-Syn 将 GPT 的指导构建 token 数减少了 98.2%,将 Claude 的指导构建 token 数减少了 95.5%。按输入与输出 token 总数计算、且不计源经验生成时,指导构建与执行的总 token 数分别减少了 15.7% 和 35.4%。BrowseComp-Plus 上的消融实验进一步表明,获取过程信息与学生执行步骤减少存在关联,并显示在观察到任务成功的情况下,联合合成生成的指导明显短于直接使用历史记录或独立生成摘要的方式。这些结果展示了智能体如何利用自身记录的经验来改善后续任务完成情况,并为整合智能体群等并行智能体系统的执行记录提供了一种低成本思路。

查看原文(arXiv cs.AI)