MemCalib：LLM Agents中的记忆使用基准测试与优化

arXiv:2609.24259v3 公告类型：替换 摘要：智能体记忆的有效性最终取决于底层LLM是否能让上下文中的每条记忆对其响应产生适当程度的影响。然而，这种能力一直在很大程度上被忽视。为评估这一能力，我们引入了MemCalib，这是一个基于真实记忆系统场景的基准，用于评估记忆使用并推动优化算法的发展。MemCalib测试集上的结果表明，前沿开源和闭源模型都难以恰当地使用记忆。它们经常过度使用或使用不足，而不是让每条命题的实际使用程度与其目标水平相匹配，从而导致响应存在偏差且质量低下。对包括组相对策略优化和在策略自蒸馏在内的常见后训练算法进行实验进一步揭示了明显的方向性偏差：模型经过训练后，会在一个方向上有所改善，却在另一个方向上恶化。因此，我们提出MemCalib-RL，这是一种有序的双向反事实信用分配算法，通过精确的原子消融将过度使用和使用不足的信号分离开来，并将其信用归因定位到响应词元。跨模型系列和规模（Qwen3-8B、Ministral-3-8B-Instruct和Qwen3.5-35B-A3B）的结果表明，MemCalib-RL取得了最佳的总体性能，同时更好地平衡了过度使用和使用不足；在外部基准评估中，其收益也能泛化到MemCalib之外。进一步实验支持了其设计选择和稳健性，并为其训练动态提供了深入见解。