LACS：用于动态数据剪枝的分布敏感型标签无关置信度选择

arXiv:2611.05616v1 公告类型：新提交 摘要：在大规模数据集上进行训练，需要选择哪些样本应接受高成本的训练计算。固定配额预先决定剪枝量，而绝对置信度阈值则依赖于分数尺度。我们研究了一种相对于总体的替代方案，可同时自适应调整阈值和保留样本数。我们提出 LACS（Label-Agnostic Confidence Selector），这是一种基于最大预测置信度的训练时选择规则，在选择时既不需要标签，也不需要逐样本梯度。LACS 移除分数达到或超过“指数均值的对数参考值加上一个裕量”的样本。我们刻画了它对分数差距和概率质量的敏感性，并推导出精确的无剪枝条件。当 $0<\rho<1$ 时，被移除的比例至多为 $\rho$，且至少保留一个样本。这种无符号分数允许同时移除高置信度的正确预测样本和高置信度的错误预测样本。七种评估设置涵盖神经网络训练、语言建模和提升方法。神经网络执行研究将参与反向传播的行数减少了 10–35%；在 CIFAR-10 上，反向传播行数减少了 29%，平均准确率为 89.77%，而完整 CE 训练的平均准确率为 89.82%。在反向传播预算和优化器更新次数相同的条件下，五个随机种子的结果表明，LACS 比小批量训练高出 1.0 个百分点，比随机选择高出 1.2 个百分点。在 14 个表格数据集上，二次提升将平均测试错误率从 23.36% 降至 22.96%。其完整训练重放使用的拟合行数减少了约 30%；这些计数的统计跨度与基于验证集选择的准确率所对应的跨度不同。在一项 RBF-SVM 案例研究中，耗时减少了 37%，错误率也略有降低。这些发现区分了选择性计算工作量的减少与实际加速：当前使用精确即时分数的神经网络实现需要额外一次用于评分的前向传播，因此其反向传播稀疏性尚未转化为实际运行时间的缩短。这项开销源于执行方式的选择，而非选择规则本身的要求。