在行动时刻的自信：隐藏信息下 LLM 对弈中的信念失校准

代理系统越来越多地依据模型自己声明的置信度来决定是否执行动作，这隐含着一个假设：置信度在采取行动的那一刻应当与正确性相对应。我们在一种隐藏信息的象棋变体中检验这一点：在这种变体里，王的身份可以被秘密地、反复地在棋子之间转移，而且会在每个回合单独、独立于其所选择的走法，获取智能体对对手隐藏王棋位置的显式概率分布，并在对局结束后将其与可恢复的真实情况进行评分。跨两个独立批次，在对隐藏棋子位置给出高自述置信度（$\geq 0.5$）时发起的吃子，仅有 62 次中的 1 次是正确的。校准缺陷几乎完全集中在这些事件上：原始批次中占 99.3%，复现批次中占 98.7%。同样的模式在更弱的形式下，也在另外四种模型配置中保持一致排序（仅为点估计；在该样本量下，大多数两两差异在统计上不可区分），这些配置跨越了第二家提供方——这里将其报告为该发现的适用范围，而非能力必然预测校准的证据：在固定的外部排行榜分数下对同一模型进行比较时，仅改变推理预算，就能让该指标的变化幅度几乎与显著的跨模型差距相当。另一方面，传统评估维度——合法性、成本、延迟、完成率——可能与信念质量完全脱钩；在所有传统维度上都胜出的配置，反而产生了本次测试中最差的信念质量。出现这种模式的模型，仍然可能赢下其信念所对应的那盘棋，因此仅看结果的评估无法检测出这一点。