相关测试的代价：模型发布门槛应有多严格？

arXiv:2610.00993v1 宣布类型：cross 摘要：机器学习模型发布前，通常必须通过一组自动化测试。要求所有测试都通过看似安全，但这可能拒绝许多本可以很好地服务用户的模型，也无法说明一个通过测试的模型究竟有多值得信赖。我们将发布门槛视为一个设计问题：选择模型必须通过的测试数量，使获准模型达到既定的可靠性目标，同时尽可能保留更多优秀模型。一个二类别潜在因子模型明确刻画了这两种代价，并将每项计算都简化为一维积分。我们证明，当两个类别具有相同的潜在相关性时，更严格的门槛总能提高可靠性，因此，在达到目标的前提下，能够保留最多优秀模型的门槛，是仍能满足目标的最宽松门槛。在“全部通过”门槛下，模型中的任何低于完美的可靠性目标都可以实现，但随着测试套件规模扩大，所保留的优秀模型比例趋近于零。测试之间的相关性决定了代价。在一种配置中，达到99%的目标需要8项相互独立的测试；但当潜在相关性为0.3时需要74项，为0.5时需要5,182项，而此时门槛保留的优秀模型不足十分之一。我们还给出了一种基于精确二项式界的验证程序，即使门槛是从固定候选列表中选出的，也能利用带标签数据对其进行认证。