概念融合:文本到图像模型中视觉隐喻生成的基准评测
Blending Concepts: Benchmarking Visual Metaphor Generation in Text-to-Image Models
精选理由
提供视觉隐喻生成基准,揭示文生图模型的表达短板。
AI 摘要
Text-to-image(T2I)模型在忠实呈现指定对象和属性方面已取得显著成功,然而,它们生成视觉隐喻的能力——即通过组合来自两个不同领域的元素来传达抽象概念的图像——在很大程度上仍未被考察。为弥补这一空白,我们提出 VMetaphor-Bench,这是首个用于评估 T2I 模型中视觉隐喻生成的基准。它包含 1,500 个从真实世界创意图像中筛选整理而来的视觉隐喻,分为三个层级和十个类别,每个样本配有两个具体程度不同的提示词。为进行评估,我们在 MLLM-as-judge 范式下构建了一个混合框架,将基于选择题(MCQ)的协议与基于维度的评分协议相结合:前者包含 9,594 个问题,覆盖四个隐喻忠实度层级;后者则沿三个感知维度进行评分。对 11 个具有代表性的 T2I 模型进行的大规模评估表明,即使是最强的专有模型,在组合结构和跨域映射这些隐喻表达的关键方面也表现吃力,这凸显了视觉隐喻生成是未来 T2I 研究的重要前沿。