DecisionPivot：LLM 系统中决策模型的诊断基准

决策模型为 LLM 系统提供路由、护栏和输出验证功能。然而，仅凭项目准确率无法确定模型是否能在受控变化下作出正确决策，也无法确定其是否能为预测分配可靠的置信度。我们推出 DecisionPivot，这是一项诊断基准，包含涵盖七种决策角色的 48 项任务和 40,033 个项目。其核心赛道包含来自 13 个生成式任务族的 7,800 个项目，这些项目被组织成对比组，并配有由独立实现的求解器验证的计算答案。配套的参考赛道包含来自 35 个公开测试集的 32,233 个项目，并保留其原始评估指标。我们使用有文档记录的、针对模型定制的协议，对 40 个决策模型和 14 个通用模型进行评估，考察项目准确率、对比组准确率、概率排序、校准性以及经验选择性覆盖率。结果揭示了聚合分数所掩盖的显著差异：在参考赛道上，两个仅相差 2.6 个百分点的 27B 模型，其对比组准确率分别为 70.1% 和 44.2%。在 2,400 个二元对比对中，Perplexity Decider 能在 92.3% 的对比对中正确地将正例排序在负例之上，但仅有 74.1% 的对比对能同时正确回答两个成员，揭示了概率排序与决策正确性之间的差距。项目准确率相近的模型，其高置信度预测的可靠性也存在差异。在一个包含 1,296 个项目的独立子集中，GLM-5.3 在较高推理设置下达到了 93.5% 的对比组准确率，而在最低推理强度下为 81.5%。通过将错误与关键细节及难度等级关联起来，DecisionPivot 提供了细粒度的决策失败诊断，而仅靠聚合评估无法揭示这些问题。