MARGIN：面向多智能体基础模型协同的运行时置信度校准

arXiv:2605.22949v4 公告类型：替换 摘要：当协调器比较异构基础模型的答案时，不同应答模型所报告的置信度可能具有不同含义，并且这种含义还会随工作负载变化。本文提出 MARGIN（Multi-Agent Runtime Grading via Incremental Normalisation），一种运行时校准方法。该方法根据观测到的答案结果学习针对不同模型的置信度修正，无需重新训练模型，也不需要留出校准集。MARGIN 在各个置信度区间内跟踪近期准确率和模型给出的置信度，利用二者的比值修正报告的置信度，并将样本稀疏区间的修正结果向模型级估计进行平滑。修正后的分数用于在集体决策中对候选答案加权。评估涵盖代码生成、问答和数学任务，使用包含 18 个模型的模型池，并在分布偏移实验中使用其中的九模型子集。在 BigCodeBench 上，模型平均置信度与准确率呈负相关；在正确/错误回答对中，选择置信度更高的应答模型，其表现低于随机水平。与五种在线校准基线方法相比，这些基线接收相同的反馈，并在每次转换过程中保留所学习的状态，MARGIN 在两次代码生成转换中的分布偏移后期望校准误差均低于这五种方法，在一次问答转换中低于其中四种；剩余的一次问答比较结果尚无定论。在独立的代码生成协同实验中，相较于未经校准的置信度加权，校准提升了正确回答的排序效果，并在三个基准中的两个上使答案选择准确率分别提高了 4.3 和 14.0 个百分点。这些结果表明，当能够获得参与应答模型的正确性反馈时，针对模型的运行时校准有助于应对工作负载变化下的协同决策。