QRAE：用于 DeepSearch 智能体上下文压缩的查询相关注意力熵

arXiv:2611.07976v1 公告类型：新提交 摘要：DeepSearch 大语言模型智能体会反复执行搜索，并将检索到的来源内容带入后续推理步骤。这种不断扩大的上下文会增加 token 消耗和延迟，尽管许多检索结果对后续推理并无贡献。我们提出查询相关注意力熵（QRAE），这是一种在线上下文压缩方法，利用稀疏的证据评估头来决定哪些完整的检索片段应在各推理步骤之间持续保留。该方法通过成对的预填充过程对大小受限的候选批次进行评分：不含查询的对照用于抑制共有的注意力响应，而归一化熵则用于衡量每个片段内正向响应的覆盖范围。高分片段会进入持久化证据白名单，并被纳入推理上下文。不确定的片段不会进入推理上下文，但会保留在候选缓存中，以便后续检索并重新评估。QRAE 既不需要额外的生成式压缩过程，也不需要修改注意力算子。在多个 DeepSearch 基准测试和推理模型上，QRAE 将任务成功率平均提高了 2.35 个百分点，并将端到端延迟和报告的 token 用量分别平均降低了 30% 和 45%。这些收益同样适用于一个参数量接近 1000 亿的模型。