arXiv cs.AI精选74

先测量,再管理:评估代码代理中的Agent工作记忆

Measure Before You Manage: Evaluating Agent Working Memory in Coding Agents

· 43天前

精选理由

揭示编码代理工作记忆评估应考虑语义差异与真实成本。

AI 摘要

Agent工作记忆具有异质性。指令、工件、工具输出以及Agent生成的状态等对象在语义角色上不同,并表现出不同的大小、保留和表示特征。近期工作已开始探索能够考虑这种异质性的记忆管理机制。本研究聚焦于语义异质性,并研究它应如何影响代码代理中工作记忆的管理与评估。在55条已归档的代码代理轨迹中,我们发现语义不同的工作记忆对象表现出不同的保留和压缩行为。这种异质性促使采用语义感知的记忆管理。我们研究了两种语义感知策略:一种是对象感知的压缩策略,另一种是基于检索的策略。评估结果显示,校准收益未必能迁移到留出任务上,而且相同的token预算并不意味着相同的实际上下文交付量或管理成本。对真实系统的回放进一步暴露出仅凭名义预算无法捕捉的服务限制。综合来看,这些结果说明了语义结构对Agent工作记忆的重要性,以及为什么评估记忆管理策略不能只看名义上的token预算。我们将这些经验归纳为四个层次:存储状态、交付上下文、管理工作,以及任务或过程结果。

查看原文(arXiv cs.AI)