不要相信基准测试：通用 LLM 排名的局限性及任务特定评估的理由

基准测试分数日益影响大型语言模型（LLM）的开发、营销和选择。然而，总体分数只有结合被测试的系统、所包含的问题以及评估条件，才具有可解释性。本文考察了通用 LLM 排名中五个相互关联的局限性：经过评估的系统与公开可用系统之间的差异；外部评估中的商业激励与依赖关系；基准测试饱和、测试缺陷和数据污染；模型利用评分流程获取优势；以及通用分数与用户任务之间的有限相关性。文中列举的案例说明了为什么这些问题需要采取不同的应对措施。本文主张采用以下评估流程：披露经过测试的配置，验证问题及任务是否成功完成，同时报告性能、成本和执行时间，并明确说明泛化范围。随后，本文讨论众包基准测试平台 \textbf{Isotanta}，将其作为收集用户贡献问题并进行重复评估的实际案例。更大的问题池可能改善任务覆盖范围，而重复抽样可以提高该问题池上估计结果的稳定性；但二者都不能保证有效性或个性化。本文区分了该平台当前的共享排名，以及所提出的任务特定评估和用户提供的评估。本文的核心论点是，模型选择需要有关模型在预期工作中的表现的证据，而不能仅仅依据其在通用排行榜上的高位。