AMBER：通过只追加记忆训练长时域网页代理

arXiv:2610.07118v1 公告类型：cross 摘要：现代语言模型代理越来越多地在长时域、多步骤轨迹中与外部环境交互，而累积的交互历史可能会迅速超出实际可用的上下文预算。为确保可靠性，代理必须在较长时间范围内维护事实信息，记住执行错误及纠正性反馈，并跟踪跨动作的进度。为实现这些目标，同时避免在上下文中维护完整的执行历史，研究者已经提出了多种方法，例如使用推理与动作历史、通过覆盖机制学习维护固定大小的记忆，以及定期进行摘要。尽管覆盖式记忆原则上可以保留只追加记忆能够保留的任何信息，但它必须学会在每次后续重写中持续携带每条事实，而从稀疏的结果奖励中学习这一点十分困难；对于网页代理等交互式应用，我们发现，经过训练的覆盖式记忆会删除轨迹所需的关键信息，以及从环境中获得的纠正性反馈。我们提出 AMBER（用于证据保留的只追加记忆库）——一个简单且可扩展的框架，代理在其中联合学习推理、行动和写入自由格式记忆，同时只追加规则从机制上保证信息保留。这使得 AMBER 能够通过基于结果奖励的强化学习进行端到端训练，而无需大量经过整理的 SFT 数据。在 WebArena Lite 上，与基于覆盖的记忆相比，AMBER 将平均成功率提高了 4.09 个百分点，将五次重复运行中解决任务的比例提高了 4.8 个百分点，并达到了一个使用成本显著更高的精心整理监督训练的覆盖式基线的水平。AMBER 在保持实用令牌预算的同时实现了这些改进，在上下文效率、任务性能和长时域执行可靠性之间取得了良好平衡。