超越分布匹配：用于监督微调的选择性间隔保持

arXiv:2610.19685v1 公告类型：新论文 摘要：监督微调（SFT）会改变教师强制前缀下非目标词元之间的 logit 间隔。匹配局部参考分布既会维持这些概率，也会惩罚间隔的扩大。我们探讨软性辅助目标能否在不冻结该分布的情况下，保持选定的局部非目标词元间隔关系。我们提出 \textbf{Selective Rank-Preserving SFT (SRP-SFT)}，这是一种软间隔目标：在固定的教师强制前缀下，对参考分布中排名前 $K$ 的非目标词元所组成的词元对，施加基于参考值缩放的间隔下界铰链损失。一旦达到所要求的下界，铰链损失便不再施加惩罚。我们推导了违反间隔约束的 KL 代价，刻画了可行域及其条件效用，并给出了在有限步内减少总体约束违反程度的条件。在 Qwen3-4B-Base 和 UltraFeedback 上进行的单轮训练实验中，相较于 CE 和 LP-SFT，该目标在全部三个训练随机种子下均提高了 MATH-500 和代码生成得分。在随机种子为 1234 时，相较于 LP-SFT，MATH-500 的 pass@1 从 49.56\% 提升至 54.56\%，代码生成四项指标的均值从 65.91\% 提升至 69.50\%。排序对照实验、留出缓存诊断、敏感性扫描以及另外六种骨干模型的实验，展示了这些得分变化出现的条件。