TRACE-Bench:分解与诊断多参考图像生成
TRACE-Bench: Decomposing and Diagnosing Multi-Reference Image Generation
精选理由
为多参考图像生成提供可诊断的评测基准
AI 摘要
尽管用于多参考图像生成的统一多模态模型近期取得了进展,现有基准仍围绕预定义任务类型(例如“主体组合”)组织,这并不适合这种组合式场景,并会导致覆盖碎片化、复杂度不可控且诊断价值有限。我们认识到多样化的多参考任务共享一组通用的原子操作,因此采用面向能力的视角,并形式化定义了四个算子:锚定($f$)、解耦($g$)、应用($\oplus$)和组合($C$)。这样,任何多参考提示都可以表示为这些算子上的组合公式,其结构复杂度由算子槽位数量量化。基于这一形式化方法,我们构建了 TRACE-Bench,包含约 1,600 个评测案例,槽位数覆盖 1--8,由 631 个公式模板和约 4,000 张参考图像构成,涵盖多样的艺术风格和真实世界主体。公式结构直接驱动一种与算子对齐的评测协议,用于按能力评分,并支持通过诊断树分析进行递归式故障定位。对 9 个领先模型的评测揭示了整体评分无法呈现的洞见:主要瓶颈在于解耦($g$)和属性绑定($\oplus$),而非场景级组合($C$);即便最佳模型在属性保真度上也仅得 0.74。项目页面:https://amuseum-whr.github.io/TraceBench