准确但不谦逊：在知识冲突下评估LLM智能体的认识论谦逊

当检索到的证据与智能体先前的信念相矛盾时，它会修正答案、承认不确定性，还是坚持错误结论？现有对智能体系统的评估主要关注任务成功，对智能体如何处理此类冲突所提供的洞见十分有限。我们提出从认识论谦逊（EH）这一维度评估智能体：即智能体在执行任务期间识别、据此采取行动并传达不确定性的意愿。我们通过三个轨迹层面的行为维度对EH进行操作化定义：Identify、Solve和Escalate（ISE）。我们考察知识冲突，即骨干语言模型的参数化知识与其遇到的证据相矛盾，或两个上下文来源彼此不一致的情形，并据此评估两种冲突设置：（1）受控冲突；（2）多步骤智能体执行过程中自然发生的冲突；每种设置均配有匹配的无冲突对照。通过评估四个智能体，我们发现，更高的任务准确率并不一定对应更高的认识论谦逊：一些高准确率配置能够在执行过程中识别冲突，却不会在错误的最终答案中传达尚未解决的不确定性。进一步的轨迹层面分析表明，智能体经常在执行早期步骤中检测到冲突，却未能在后续步骤中持续处理或解决这些冲突。最后，我们表明，模型层面的干预可以提升EH，但往往会以任务准确率为代价，这表明认识论谦逊源于骨干模型、智能体框架与评估环境之间的交互。