凡事适度:多领域中期训练中的逐领域覆盖最优点与对齐难以消除的领域差距
Everything in Moderation: Per-Domain Coverage Optima and Alignment-Resistant Domain Gaps in Multi-Domain Mid-Training
精选理由
深度 96 / 新颖度 85,来自 arXiv cs.AI。
AI 摘要
中期训练是预训练与对齐之间的阶段,模型逐领域的数据构成通常由数据可获得性决定,而非依据原则进行设计。我们考察这种决策带来了什么,以及后续的对齐过程能否消除其影响。在受控的逻辑推理环境中(Qwen3-8B-Base,并以 4B 进行复现;五个语义上规则不相交的 KOR-Bench 领域),我们训练了覆盖五领域单纯形的 30 种分配方案:其中 24 种为扫描配置,另有 6 种未纳入拟合;每种配置使用 5 个随机种子。我们得到三个发现。第一,每个领域都存在一个内部覆盖最优点:对全部五个领域而言,适度区间($10\%$-$40\%$)表现最佳;经校准的二次曲线内部最优性置换检验给出 $P\approx0.010$。仅使用中期训练数据拟合的曲线在 8B 上的峰值位于 $9.9\%$ 到 $35.1\%$ 之间,能够复现曲线形状,但无法复现峰值位置。第二,在固定预算的对齐过程中,这些差距依然存在:补偿性 SFT 提升了 116/120 个单元格的表现(平均提升 $+4.32\%$),但在 $5\%$ 阈值下弥合了 $0/240$ 对差距,在 $10\%$ 比率下弥合了 $30/240$ 对差距;等预算的均匀控制表现几乎相同,而置换零假设预计会弥合 $13.8\pm3.3$ 对和 $77.9\pm8.5$ 对差距($P<0.001$)。第三,覆盖率为零会导致仅经中期训练的准确率崩溃,不过仅使用 FineWeb-Edu 的控制实验表明,这种崩溃与一般性漂移交织在一起。探索性的 $θ^*$ 分配实现了完整流程中最大的增益($+4.36\%$,相比之下为 $+0.80\%$/$+0.64\%\,pp$),但根据 Welch 检验,其结果处于边缘显著水平。