可扩展、可迁移的用于数据选择的元网络需要一种不同的损失（以及为什么显而易见的选择存在问题）
Scalable, Transferable Meta-network for Data Selection Requires a Different Loss (and Why the Obvious Choice is Problematic)
精选理由
介绍TESS点式价值匹配损失，解决元数据筛选不稳定问题并提升跨数据集迁移能力。
AI 摘要
arXiv:2610.02092v1 公告类型：cross 摘要：数据选择对于在大规模异构语料库上训练大型语言模型至关重要。用于训练数据选择的元学习通过根据目标验证目标学习数据权重，为启发式评分提供了一种有原则的替代方案，但现有方法在细粒度评估与向未见数据迁移之间面临权衡。一种自然的解决方案是用选择网络替代逐样本权重。然而，我们发现，将此类网络直接纳入现有的 MTS 目标会导致优化不稳定和泛化能力较差，其原因在于权重抑制以及对易学习特征的持续依赖。为解决这些问题，我们提出 Transferable Example Scoring and Selection (TESS)，这是一个基于 Pointwise Value Matching 目标（PVM）的可扩展数据选择框架。在 LLM 安全性和针对性指令微调任务上的实验表明，该方法具有很强的跨数据集迁移能力，能够从子集迁移到完整语料库，并从较小模型迁移到较大模型。