可验证视觉奖励从合成场景迁移到自然提示

图像生成中的精确指令遵循，例如满足对象数量和空间关系，仍然是一个开放挑战，至少部分原因在于其学习依赖于不可靠的奖励模型，如对象检测器和视觉-语言模型。我们提出 Verifiable Visual Rewards (VVR)，这是首个用于可通过程序验证的图像奖励框架，并表明在其上训练能够泛化到自然提示。每个 VVR 任务都是一个由几何对象及其关系构成的场景，我们从中同时推导出提示和确定性验证器，因此任务可以按任意数量和任意选定复杂度生成。我们发布了 VVRBench，包含覆盖 32 种约束类型的 10,000 个任务，以及 VVRBench-Challenge，包含 720 个更复杂的任务；我们评估的最强模型 GPT-Image-2.5 解决了 VVRBench-Challenge 中 21.4% 的任务。使用 VVR 分数作为强化学习（RLVVR）的奖励，使 Stable Diffusion 3.5 Medium 在 VVRBench 上的准确率从 2.8% 提升到 28.3%，并展现出一致的由易到难泛化能力。这些收益扩展到域外基准，将 VVR 融入现有目标还能进一步提升整体性能和人类偏好，这推动了将 VVR 纳入标准图像生成后训练方案。