从评估到演进:图像编辑基准评测与图像模型演进
From Evaluation to Evolution: Benchmarking Image Editing and Evolving Image Models
精选理由
以细粒度清单定位图像编辑模型的局部失败,并通过反馈驱动迭代显著提升编辑表现。
AI 摘要
现实世界中的图像编辑需要在保留内容并满足参考约束的同时,协调多种视觉变换,但汇总分数很容易掩盖未满足的局部要求。因此,有效的评估必须识别局部失败,并将其转化为后续模型改进的优先事项。我们推出了 WeGenEditBench,涵盖单图像编辑、文本密集型编辑和多参考图像编辑,共包含 2,740 个评估实例和 148 种任务类型。各模型共用的预生成检查清单将每项请求分解为原子要求;评估时先确定逐项扣分及其视觉证据,再汇总为编辑执行、内容保留、视觉质量和任务特定正确性四个方面的分数。为支持递归自我改进(RSI)中的经验获取环节,我们开发了 WeGenEvoStudio,这是一个面向 RSI 学习的统一多智能体框架,集成了以模型为条件的失败诊断、基于检索的数据构建、监督式适配和重新评估。在接受评估的 15 种配置中,GPT-Image-2 以 4.076 的总体得分领跑单图像编辑,而 Seedream-5.0-Pro 则以 4.291 的得分领跑文本密集型编辑。在四个生成与编辑基准上的演进实验表明,模型取得了显著的针对性提升:在各自根据报告选出的前 5 项单图像改进目标上,FLUX.2 [dev] 的总体得分从 1.083 提升至 3.517,而 Qwen-Image-Edit-2511 提升了 13.2%。我们的基准与框架共同奠定了基础,使开发者能够通过可解释的评估和反馈驱动的学习,开发更可靠的图像模型。