API 基准测试分数无法可靠地迁移到聊天机器人界面

基准测试分数是模型发布中的核心衡量标准：它们影响采购决策，塑造公众信任，并影响政策制定。然而，基准测试分数背后的一个关键假设是，通过 API 测得的模型性能能够真实反映已部署系统的行为。 我们通过对七个系统和九项基准测试进行审查，质疑这一假设；这些基准测试涵盖通用能力、社会偏见和迎合性。我们发现，无论在准确率还是一致性方面，API 与界面之间都存在系统性差异。平均而言，API 评估的准确率比相应的界面评估高出 3.4 个百分点，重测一致性高出 2.1 个百分点。对于 ChatGPT 而言，通过 API 与通过界面访问所产生的性能差异，超过了仅通过 API 测得的 GPT 5.3 与 GPT 5.4 之间的差异。换言之，切换访问方式所造成的性能下降，可能相当于将模型降级一整代。 我们进一步测试了通过调整系统提示词、采样参数和推理设置等公开的 API 控制项，能否复现界面行为。这些控制项在某些情况下会改变行为，但无法可靠地消除这一差距。我们的研究记录了一个情境有效性差距：通过 API 获取的测量结果不一定能推广到相应的已部署界面，这使得将 API 评估作为已部署系统代理的做法更加复杂。