基准测试的认识论：评估机器学习模型的效度理论
The Benchmarking Epistemology: Validity Theory for Evaluating Machine Learning Models
精选理由
帮助读者理解机器学习基准测试的有效性边界，避免过度解读模型分数。
AI 摘要
arXiv:2510.23191v2 发布类型：替换 摘要：预测性基准测试依据预测性能和竞争排名评估机器学习模型，是机器学习研究和科学探究的核心。然而，基准测试得分充其量只能衡量模型相对于特定数据集和学习问题的性能。要得出重要的科学推论，还需要额外的假设。借鉴心理学效度理论中的思想，我们提出了使这些假设明确化的效度条件。在两个案例研究——ImageNet 和 Fragile Families Challenge——中，我们展示了基准测试结果如何支持关于研究进展和可预测性边界的推论，从而将预测性基准测试定位为机器学习中一种独特的认识实践。