机器学习中的模型验证：从留出划分到生物医学与应用研究中的嵌套分组交叉验证

模型验证用于估计完整学习流程在新数据上的表现。然而，无效的数据划分可能产生过于乐观且稳定的结果。本教程回顾了留出验证、训练集/验证集/测试集设计、重复随机子采样、k 折交叉验证与重复分层交叉验证、留一法与留 p 法、分组感知验证以及嵌套分组交叉验证。文中将机器学习的一般原则与 EEG 时段、成对眼部 OCT 图像、重复临床测量和多中心数据联系起来。八个受控场景比较了存在缺陷的设计与避免数据泄漏的安全设计：其中七个使用带有可审计指标的锁定混淆矩阵，另一个使用可复现的重复研究模拟。场景涵盖全局特征选择、归一化泄漏、相关记录、中心混合、重复使用测试集以及估计器不稳定性。文章还考察了偏差、方差、指标聚合、不确定性和计算成本，并提供了数据规模矩阵、决策树和报告清单。文中还包含可复现的 MATLAB 模板及其 scikit-learn 对应实现。结果表明，没有任何一种验证方法在所有情况下都普遍最佳。独立单位必须与预期部署目标相匹配。任何依赖数据的操作也必须排除用于性能估计的观测数据。