GRASP：面向可扩展预训练数据归因的几何感知残差对齐
GRASP: Geometry-aware Residual Alignment for Scalable Pretraining Data Attribution
精选理由
提出大规模预训练数据归因方法，刻画样本互补与冗余，提升筛选效率与可靠性。
AI 摘要
arXiv:2606.06892v3 公告类型：替换 摘要：可扩展的数据归因方法通常为单个训练样本分配彼此孤立的效用分数。这一普遍的加性假设无法从根本上捕捉关键的子集动态，包括数据冗余和互补覆盖。在本文中，我们将归因重新定义为子集级反事实效用预测，并提出具备交互感知能力的代理模型 GRASP。基于理论上的平滑性下界，GRASP 通过二次几何惩罚显式建模子集交互。为在不依赖隐藏的预言机调优的情况下实现预训练规模的高效性，我们将低维特征摘要与严格有限的下置信界选择协议相结合。广泛的子集重训练评估表明，GRASP 明显优于现有的可扩展基线方法。在反事实子集保真度方面，它使任务级秩相关性提升至原来的两倍以上，同时将前期工件构建成本降低了近一个数量级。下游诊断进一步表明，该评分机制能够迁移到语言模型数据筛选和跨领域视觉数据选择中，为优化大规模预训练语料库奠定了稳健基础。