同一模拟，不同证据：检索到的工具输出让 LLM 代理在哪些环节损失准确率

能够算出正确答案的 LLM 代理仍可能给出错误答案。代理框架越来越多地将冗长的工具输出移出上下文窗口，保存到代理按需搜索或读取的文件中。我们使用一个真实的科学工具来研究这种做法会在哪些地方损失准确率：PHREEQC，这是 USGS 广泛使用的地球化学模拟器，其报告长度可达 846.8k 个字符，而且其确定性使每个打印出的数值都能够追溯。代理使用它回答 158 道经过执行验证的选择题。当代理通过章节索引读取模拟器报告，而不是将报告置于上下文中时，GPT-5.1 和 GPT-5.2 的准确率分别下降 11.3 和 7.9 个百分点，而 Claude Opus 4.6 和 Claude Sonnet 4.6 则没有可检测到的损失。重新运行记录的全部 11,007 次模拟器调用后发现，两个 GPT 模型计算出标准答案对应数值的频率与之前大致相同；发生变化的是它们作答所依据的证据。在检索条件下，它们经常跳过报告，依据自身精度更高的输出文件作答，并错误地舍入到相邻选项；我们将这种失败称为证据替代。在模拟过程保持不变的情况下，检索仍使 GPT-5.2 的准确率损失 9.4 个百分点。对于 GPT-5.4，更频繁地正确完成模拟掩盖了约十个百分点的证据使用损失，使最终净变化无法与零区分。与普通检索相比，明确指出权威输出使三个 GPT 模型的准确率提高了 6.3–7.9 个百分点；对于 GPT-5.1 和 GPT-5.2，将能够放入上下文的输出直接内联同样有效，而要求正确舍入则没有效果。对代理框架中的上下文管理选择进行评估时，应关注准确率在哪些环节发生损失，而不仅仅是最终准确率。