学习面向多智能体协作的校准置信度

复杂的 Web 信息检索通常需要从多个文档中收集证据并进行跨文档推理，例如多跳问答。多智能体系统通过将工作分配给专门的智能体来处理此类任务，其中上游智能体生成中间答案和支持性证据，下游智能体则基于这些内容继续推理。然而，上游答案的正确性各不相同，而大多数系统无法提供量化信号来反映这一点，导致下游智能体只能单纯依据接收到的文本证据来判断是否信任或验证这些内容。本文提出 MASCAL。每个智能体通过在强化学习中联合优化任务性能与置信度校准，学习为其答案生成一个正确性概率；上游智能体在交接时传递该概率，为下游智能体的决策提供量化依据，最终答案也携带经过校准的概率，用于量化系统输出的可靠性。为引导下游智能体在训练过程中使用这一信号，我们引入置信度感知加权，对响应上游概率的位置提高学习权重，使智能体能够从主动使用该信号的决策中学习更多。在涵盖 Web 检索与推理任务的三种协作架构中，MASCAL 提升了两个智能体的任务准确率与校准质量，并能泛化到更深的协作链和不同规模的模型。干预分析证实，上游置信度会影响下游的决策行为，而学习到的最终置信度支持选择性回答和有针对性的复核。