克服先验壁垒：长尾分布下的监督微调

arXiv:2610.12345v1 公告类型：交叉收录 摘要：监督微调（SFT）使预训练大语言模型（LLMs）适应下游任务，但预训练对任务所需概念的支持程度可能存在显著差异。高频概念更可能被充分学习，而稀有概念的表征可能仍然薄弱。我们提出了一个名为“先验壁垒”的新概念，用于量化预训练模型相较于目标概念对竞争概念的支持强度。我们观察到，先验壁垒呈长尾分布，使头部概念和尾部概念在 SFT 中处于不同的起点：头部概念面临较低的先验壁垒，而尾部概念则需要额外的指令来克服更高的先验壁垒。我们的理论分析进一步推导了长尾先验壁垒下 SFT 的预测风险界，明确刻画了先验壁垒与累积的 SFT 证据如何共同决定预测性能。针对这种依赖于先验壁垒的需求，我们提出 PASS，一种自适应 SFT 指令选择方法。该方法构建从参考内容中提取的概念，估计每条指令提供的区分性证据，并将选择预算自适应地分配给当前选择尚未充分覆盖的概念。通过这种方式，PASS 在有限预算下同时考虑哪些指令能够提供有用证据，以及哪些概念需要额外监督。实验表明，在四种骨干模型与预算组合设置下，我们的方法均优于七种最先进的指令选择方法。消融研究进一步表明，PASS 的自适应分配始终优于均匀分配。