arXiv cs.LG精选77

对谁有用?样本价值仅相对于学习器而定义

Useful to Whom? Sample Value Is Defined Only Relative to the Learner

· 11天前

精选理由

揭示样本价值取决于目标模型,为数据筛选与预算配置提供实用依据

AI 摘要

arXiv:2610.00221v1 公告类型:new 摘要:模型需要什么样的数据才能学习?核心集选择使这个问题变得具体:在预算约束下,保留对训练最有用的样本。在不同的预算区间内,易样本优先和几何覆盖标准可能分别胜出,其间由一个交叉边界分隔。我们探讨这一边界是由数据固定的,还是会随目标学习器而变化。受控实验固定所选子集,仅操纵训练学习器。在低分辨率 ImageNet-100 上,将 ResNet-18 的宽度加倍会使交叉点从每类 57 个样本移至 85 个样本:学习器改变了同一批样本的相对价值。更广泛的实验揭示了输入网格与模型容量之间的交互作用。在保留相同图像信息的同时扩大网格,会使边界向左移动;随着宽度增加,这种移动会减弱。步幅控制实验在不改变输入网格的情况下复现并反转了网格效应;仅移除最后一次下采样步幅,就足以恢复向左移动的现象。在原生 224px 的 ImageNet-1k 协议下,宽度效应较小且取决于所使用的探针:LFrac 基本保持平坦,而 EL2N 则适度向右移动。将卷积学习系统替换为 ViT 后,在测量范围内覆盖策略始终胜出,即使易样本子集来自卷积代理模型。这些结果通过固定子集干预确立了学习器依赖性,并确定了能够移动该边界的网络结构。它们并未导出一种通用的缩放定律。其实际意义很直接:必须针对目标学习器评估一种选择策略所适用的预算区间。

查看原文(arXiv cs.LG)