MM-ContextFold：面向多模态智能体检索的上下文折叠

多模态智能体检索（MAR）要求智能体通过反复调用外部工具来解决复杂的信息获取任务。ReAct 等典型框架将原始多模态输入与不断累积的交互历史保存在单一且持续增长的上下文中，从而导致上下文爆炸问题。尽管现有方法通过压缩冗余文本缓解了这一问题，但管理占用大量 token 的视觉内容的有效策略仍在很大程度上未得到探索。为弥补这一空白，我们首先对约 10,000 条轨迹开展了系统性的实证研究。结果表明，随着视觉线索通过外部工具逐步提取并文本化到上下文中，原始图像变得越来越冗余。持续保留图像会导致更高的输出熵，甚至可能降低任务准确率。受这些发现启发，我们提出了 MM-ContextFold，这是一种无需训练、仅在需要时加载原始图像的框架。该框架维护一个持久的纯文本主上下文，用于高层规划，并为依赖图像的子任务创建临时分支上下文。在每个分支中，智能体加载相关图像、完成子任务，并将结果以简洁的文本摘要形式折叠回主上下文；随后丢弃图像和分支轨迹。在五个主干模型上的七个 MAR 基准测试中，实验结果表明，与 ReAct 相比，MM-ContextFold 将平均准确率提高了 6.3 个百分点，同时将工作上下文长度减少了 27.5\%。