MemPilot：面向 LLM 智能体的按需多模态记忆整理编排

记忆已成为 LLM 智能体生态系统不可或缺的一部分，支持跨交互的信息留存与复用。然而，现有大多数智能体记忆系统以查询无关的方式构建记忆，这可能导致不必要的预处理开销，并丢弃日后证明至关重要的细节。近期研究开始将记忆处理转向运行时适配，但通常专注于特定操作或固定处理方案，对于性能、成本与延迟的灵活控制仍缺乏充分探索。为应对这一挑战，我们提出 MemPilot，这是一种灵活的框架，可根据不同的性能—成本—延迟偏好编排按需记忆整理。具体而言，我们通过强化学习优化一个多步骤 LLM 策略，使其能够在从查询无关记忆中检索，以及将原始多模态历史交由异构 LLM 和 VLMs 进行查询特定的整理之间进行迭代选择。该策略联合控制证据量、整理指令、模型选择与视觉访问，从而实现对运行时计算的细粒度分配。为在相互竞争的目标下优化这一策略，我们通过在聚合前分别估计各目标的优势，对按目标的优势解耦方法进行了适配。此外，我们引入了基于前缀的边际效用估计，以在多步骤 rollout 中实现细粒度的信用分配。在五个多模态智能体记忆基准上的实验表明，在不同优化偏好下，该方法均能取得良好的性能—成本—延迟权衡；与现有具备权衡感知能力的基线方法相比，偏好扫描能够获得更广泛的帕累托前沿。