可扩展、可迁移的元网络用于数据选择需要不同的损失（以及显而易见的选择为何存在问题）

数据选择对于在海量异构语料库上训练大型语言模型至关重要。用于训练数据选择的元学习（MTS）通过从目标验证目标中学习数据权重，为启发式评分提供了一种更为系统的方法，但现有方法在细粒度估值与向未见数据迁移之间面临权衡。一种自然的解决方案是用选择网络替代逐样本权重。然而，我们发现，将此类网络直接纳入现有的 MTS 目标会导致优化不稳定且泛化能力较差，其原因在于权重抑制以及对易学习特征的持续依赖。为解决这些问题，我们提出 Transferable Example Scoring and Selection (TESS)，这是一个基于 Pointwise Value Matching 目标（PVM）的可扩展数据选择框架。在 LLM 安全和定向指令微调任务上的实验表明，该方法在不同数据集之间具有很强的迁移能力，能够从子集迁移到完整语料库，也能从较小模型迁移到较大模型。