置信度推理图：面向 LLM 智能体的结构化置信度估计

在后果重大的领域使用 LLM 智能体时，要明智地决定是否信任其输出或进行干预，需要对智能体成功完成任务的概率具备经过校准的置信度。智能体的置信度估计之所以困难，是因为有关任务成功与否的证据分散在智能体轨迹中异构且相互依赖的多个步骤之间。实际部署智能体还带来了更多挑战：前沿 LLM 通常无法充分提供内部信号，智能体运行成本高昂，而且训练数据可能无法获取或很快过时。为应对这些挑战，我们提出了置信度推理图（Confidence Reasoning Graphs，CRGs），这是一种推理时框架，能够从单条轨迹中估计智能体完成任务的概率，无需访问特权模型信息或训练数据。CRG 不会将一次执行压缩为单一的整体判断，而是首先提出“智能体完成了任务”这一主张，将其分解为以轨迹证据为依据并结合上下文的子主张，估计每个终端主张的置信度，最后将这些置信度聚合为总体置信度估计。在三个智能体基准、三种骨干模型和三个智能体框架上，CRG 相较于语言化、基于采样以及白盒代理基线，能够提供经过更好校准的置信度，并实现更强的风险感知决策。我们进一步发现，仅凭校准误差可能会产生误导：一个白盒代理基线看似校准良好，但其判别能力接近随机水平。消融实验表明，CRG 的改进主要源于主张级置信度估计与聚合，而不仅仅是图构建本身。最后，CRG 会揭示每个置信度估计所依据的主张和轨迹证据，从而支持在决策时对其进行审计。