重新思考数据选择：在 LLM 微调中，覆盖度比难度更重要
Rethinking Data Selection: The Importance of Coverage over Difficulty in LLM Fine-Tuning
精选理由
研究表明，微调数据选择应优先覆盖多样输入而非追求难度，并提出聚类方法提升多领域任务表现。
AI 摘要
arXiv:2611.07323v1 公告类型：新论文 摘要：选择高质量的训练数据可以降低 LLM 微调的计算成本。以往的数据选择研究基于“更难的样本包含更多信息”这一直觉，提出了多种基于难度的评分方法。尽管这些方法对较小的分类模型有效，但我们发现，在 LLM 微调中，它们往往无法优于随机选择。我们的分析表明，随机选择表现更好，是因为它更能代表底层输入空间，即具有更好的覆盖度。为验证覆盖度的重要性，我们实现了一种简单的基于聚类的选择方法，用于选出更能代表底层输入分布的数据。在一组多样化的单领域任务上，该方法的性能达到或超过了随机选择。在多样化的多领域 T\"{u}lu 3 混合数据集上，随机采样不再能保证得到均衡的子集，而我们的方法优于所有其他方法。总体而言，我们的结果表明，在 LLM 微调的数据选择中，优先考虑覆盖度而非难度能够取得更好的效果。