上下文塔转换保留生成能力，而冻结则保留知识：MoE LLMs 的低预算 AR-to-Diffusion 转换

arXiv:2610.02657v1 公告类型：new 摘要：将预训练自回归（AR）模型转换为扩散语言模型（dLLM），无需预训练新模型即可实现并行生成。已发表的转换方法在训练数据量上相差约三个数量级，且尚未在统一协议下进行比较。我们比较了同一个 30B Mixture-of-Experts（MoE）母模型的两种转换方式，在各自的训练方案下，固定语料库、监督 token 预算、可训练参数集合和评测框架。原位模型使用去噪损失和表征对齐损失更新母模型权重的一个子集；冻结塔模型则通过对母模型的冻结因果副本进行交叉注意力来获取条件。使用 1B 训练 token 时，冻结塔模型在 HumanEval 上的 pass@10 得分为 71.60，而原位模型为 6.19，提升了 11.6 倍。在相同预算下，它还保留了母模型 GSM8K 得分的 95% 和 MMLU-Pro 得分的 99%。在稠密母模型上的实验复现了 HumanEval 上的差距。在约 500M token 的双塔设计中，冻结上下文塔所保留的 MMLU-Pro 性能显著高于训练上下文塔的方案，而两者在观测到的 HumanEval 得分上相近。我们的理论分析表明，在采用硬注意力掩码并按从左到右的顺序、每轮提交一个位置的条件下，两类转换都包含一个能够精确采样 AR 母模型的采样器。在共享损失下，冻结会移除通过上下文状态产生的梯度贡献。此外，评测协议会使一项已发表的 500B-token 转换在不同任务上的得分出现显著的双向变化，而其 AR 母模型的得分变化小于三分，因此比较 dLLM 需要采用统一协议。这些结果表明，在所测试的低预算条件下，冻结塔配置相比原位转换能够保留母模型显著更多的生成性能。