向正确者学习：面向多领域 LLMs 的答案验证多教师蒸馏

现代大型语言模型（LLMs）依赖强化学习来在单个领域内构建强大能力，但将这些能力整合到一个可部署模型中仍然具有挑战。现有方法通过将每个样本路由给其领域匹配的教师，让领域标签决定由哪位教师提供监督。然而，领域专长只在平均意义上成立：匹配的教师并不总是在某个样本上正确，而其他领域的教师有时反而正确。因此，必须按样本而非按领域来识别可靠教师。本文提出 Multi-Teacher Self-Distillation Policy Optimization（MT-SDPO），一种在策略蒸馏方法，将多个冻结教师统一为一个学生模型。MT-SDPO 包含三个组件：（1）self-anchors，即用其所在组中的正确 rollout 对某个 rollout 进行监督；（2）answer-verified eligibility，即只有当教师自己的答案通过验证器时，才可监督该样本；（3）privileged distillation，即将锚点和所有已验证反馈合并为一个上下文，由指数滑动平均自教师读取，而学生不能读取，从而在部署时保留单一策略。我们在来自三个模型家族的五个学生上验证，MT-SDPO 将 Qwen3-8B 最弱领域提升了 14.79 个百分点，并将其领域差距缩小了 74.7%，比按领域提供一个匹配教师的方式实现了更好的平衡。应由经过验证的可靠性，而非领域归属，来决定谁来教学。代码见 https://github.com/hexixiang/MT-SDPO。