arXiv cs.AI精选77

UltraText Bench:用于评估图像生成中视觉文本渲染能力的综合性双语基准

UltraText Bench: A Comprehensive Bilingual Benchmark for Evaluating Visual Text Rendering in Image Generation

· 6天前

精选理由

提供中英双语密集文字生成基准,助力系统评估模型在文字准确性、清晰度与布局上的能力。

AI 摘要

密集视觉文本要求图像生成器在多个区域中复现长字符串,同时确保位置正确且清晰可读。随着短字符串渲染能力的提升,评估必须检验模型在更具挑战性的场景中的持续表现。我们提出 UltraText Bench,这是一个仅通过提示词生成密集视觉文本的双语基准。它包含 432 条提示词,涵盖 24 类真实世界场景和三个难度级别,英语和中文各占一半。每条经过人工审核的提示词都为四至十二个文本区域提供确切的字符串,并配有关于文本内容、位置和视觉属性的结构化参考信息。我们使用视觉语言模型 Q-Judger,根据完整参考信息评估每张图像,报告文本保真度、文本清晰度、空间质量和场景质量。在 24 种模型配置中,这些维度揭示了不同的优势:在所报告的设置下,Z-Image-Turbo 的清晰度得分比 Z-Image-Base 高 3.81 分,但保真度得分低 14.76 分。性能也随任务负荷而变化;Qwen-Image-2512 的英语综合得分从 L1 的 86.50 降至 L3 的 42.86。十名参与者对自动评分进行了人工评估。代码仓库:https://github.com/LINs-lab/UltraText_Bench。

查看原文(arXiv cs.AI)