克服先验壁垒：长尾分布下的监督微调

监督微调（SFT）将预训练大型语言模型（LLM）适配到下游任务，但任务所需的概念可能获得程度大不相同的预训练支持。高频概念更有可能得到充分学习，而稀有概念的表征可能仍然较弱。我们提出一种名为先验壁垒的新概念，用于量化预训练模型对竞争概念相对于目标概念的支持程度。我们观察到，先验壁垒呈现长尾分布，使头部概念和尾部概念在进行 SFT 时处于不同的起点：头部概念面临较低的先验壁垒，而尾部概念则需要额外的指令来克服更高的先验壁垒。我们的理论分析进一步推导出长尾先验壁垒下 SFT 的预测风险界，明确刻画先验壁垒与累积的 SFT 证据如何共同决定预测性能。受这种依赖先验壁垒的需求启发，我们提出 PASS，一种自适应的 SFT 指令选择方法。该方法构建源自参考数据的概念，并估计每条指令所提供的区分性证据，然后将选择预算自适应地分配给在当前选择下覆盖仍然不足的概念。通过这种方式，PASS 在有限预算下同时考虑哪些指令能够提供有用证据，以及哪些地方需要额外监督。实验表明，在四种骨干模型—预算设置下，我们的方法始终优于七种最先进的指令选择方法。消融研究进一步表明，PASS 的自适应分配始终优于均匀分配。