词典序多目标在策略蒸馏

arXiv:2610.02359v1 公告类型：新 摘要：从可验证奖励中进行强化学习（RLVR）通常优化答案正确性，但有用的语言模型行为还需要高质量的推理和简洁的响应。现有的多奖励后训练方法通常会将奖励标量化，或组合多个专家模型，却没有明确保护奖励的优先级顺序。当权衡关系不对称时，这会带来问题：例如，简洁性不应以牺牲正确性为代价而提升。我们提出词典序多目标在策略蒸馏（Lexicographic Multi-Objective On-Policy Distillation，LMOPD），这是一种在明确优先级下整合专门化奖励策略的多教师方法。对于学生模型的每次采样，LMOPD 会选择第一个目标对应的专家模型，只要该目标的门控机制检测到不足；随后，它对该专家模型居中的策略对数修正进行局部投影，移除其中与更高优先级专家模型相冲突的成分。我们在三个数学基准上，以双专家和四专家设置评估了30B-A3B混合专家Transformer模型，并衡量专家模型增益的保留程度。在双专家设置下，LMOPD的点估计完全保留了准确性和推理质量方面的增益，同时获得了简洁性增益的46.9%。在四专家设置下，相较于评估的下一佳基线仅保留约57%的准确性增益和推理正确性增益，LMOPD保留了二者约90%的增益。匹配的四专家消融实验表明，词典序路由优于随机路由，而投影操作进一步增强了两项最高优先级能力。在这两种规模下，与我们评估的现有基线相比，LMOPD都能更有效地保留最高优先级能力，证明了明确优先级对于整合专家模型的价值。