近乎并列的 LLM 排名对 Family-DIF 指导的基准测试重组是否稳健？

arXiv:2609.00482v2 公告类型：replace-cross 摘要：人们常常将排行榜上微小的差距解读为某个语言模型优于另一个模型的证据，但差距的方向可能取决于纳入了哪些基准测试项目。我们利用五个基准测试的项目级响应数据，以及一种不使用模型家族标签的多维项目反应理论（MIRT）谱近似方法，对此进行检验。在所有者互斥的折叠中，每个所有者子集用于识别不同模型家族之间残差差异项目功能较低的项目（low-DIF）。随后，在另一子集中使用这些项目对模型进行评分，并采用冻结权重，使元数据定义的项目组和易度层中的基准测试构成保持不变。长度相同的匹配随机子测试则作为项目子采样所致变异的基线。完整基准测试排名与 low-DIF 排名仍保持高度相关（$\tau_b=.900$--$.948$）。然而，在五个基准测试中的四个里，最初差距在一个百分点以内的跨家族模型对中，有 30.9--47.1% 的顺序发生反转，比匹配随机子测试的中位数高出 16.9--28.6 个百分点（均为 $p=.001$）。第五个基准测试未显示出可靠的额外反转（-0.9 个百分点，$p=.689$）。这一模式在所有预先指定的总体扰动下均能保持，并且残差项目—家族特征在不同所有者子集中得以复现；然而，没有任何家族在各基准测试中表现出一致优势。因此，整体稳定的排名仍可能使个别近乎并列的顺序对基准测试构成十分敏感，而小于一个百分点的排行榜差距应当辅以证据，证明其所暗示的排序对构成变化具有稳健性。