通过交错强化学习在统一模型中学习原生反思

统一多模态模型既能查看图像，也能渲染图像，因此原则上它们可以修复自己的生成结果：诊断一张图像哪里出错，进行修改，观察结果，然后再次诊断。一次修改是否有帮助，只有在渲染之后才知道，因此反思文本和图像生成必须在整个循环中联合学习。基于反思轨迹的监督微调（SFT）提供了冷启动，但无法找到高成功率的修复路径；而仅优化渲染器或仅优化一个头部的朴素 RL 则会使大部分收益未被利用。我们提出 UMM-Reflection，它在一个统一模型内部将强化学习（RL）应用于完整的反思轨迹：同胞轨迹共享同一张初始图像，因此组相对优势会比较不同反思策略；并且一个轨迹级优势同时更新反思 token 和基于流的修改，从而避免逐轮信用分配的组合爆炸。不同于单轮编辑或带有外部评论器的流水线，信用会跨轮次流动，并流向同一模型的两种角色，而且推理时不需要验证器。在 BAGEL 上，UMM-Reflection 相比 SFT 将 GenEval 提高了 12.05 分，并且这些收益迁移到了 WISE（+10.97）、OneIG-Bench（+3.48）和 T2I-CompBench++（+4.63），这些基准均未用于训练。