不可作弊的评测：基于动态压缩的语言模型评估

现代大型语言模型在海量数据集上进行预训练，因此很难防止基准数据进入其训练集，从而削弱评估结果的可靠性。对于基础模型而言，可靠评估尤其具有挑战性，因为其有限的指令遵循能力使基于任务的评估变得复杂。我们提出 Uncheatable Eval，这是一个动态基准，会定期收集新近发布的文本，用于评估基础语言模型并降低数据污染风险。基于模型预测能力与其无损压缩数据能力之间的关系，我们使用压缩率来评估模型预测新文本的能力。我们在 14 个文本类别上评估了 80 个模型，研究压缩如何随上下文长度变化，并考察压缩率与零样本 MMLU 准确率之间的相关性。结果得出三个主要发现：（1）压缩性能随模型规模呈现一致的缩放趋势；（2）基于注意力的模型、混合模型和循环模型在可用上下文增加时，其压缩性能的变化方式不同；（3）更低的压缩率与更高的零样本 MMLU 准确率高度相关。代码可在 https://github.com/Jellyfish042/uncheatable_eval 获取。