TaoD2C-Bench:超越视觉保真度的工业级 UI 代码生成 MLLM 基准评测
TaoD2C-Bench: Benchmarking MLLMs for Industrial UI Code Generation Beyond Visual Fidelity
精选理由
提供工业级 UI 设计转代码基准,揭示模型在需求推理与约束实现上的短板,助力提升代码生成可靠性。
AI 摘要
多模态大语言模型(MLLM)面临的一项关键挑战,是从视觉识别迈向约束感知的跨模态推理。这需要将视觉线索与其他模态的信息相结合,以理解特定领域规则下各元素之间的关系。这一挑战在工业级设计转代码(D2C)任务中尤为突出。该任务将用户界面(UI)设计转换为代码,要求 MLLM 将设计图像与杂乱的图层元数据关联起来,推断组件和布局的实现要求,并在目标库的约束下通过代码实现这些要求。然而,在真实工业场景中,这些能力仍未得到充分评估。为填补这一空白,我们提出 TaoD2C-Bench,用于评估 MLLM 在工业应用中生成满足实现要求的 UI 代码的能力。TaoD2C 数据集包含来自 17 个商业平台的 2,861 份生产环境设计,以及涵盖组件、分组、对齐和位置四个类别的 97,652 条专家标注。这些标注区分了必须满足的约束与允许自由选择的实现方式。TaoD2C-Bench 定义了三项任务:端到端 UI 代码生成、要求推断和要求实现。对八个 MLLM 的评估表明,它们在生成满足实现要求的 UI 代码方面仍存在显著差距,同时在推断与实现任务中呈现出不同的性能特征。我们进一步表明,MLLM 的视觉重建能力并不必然意味着其能够生成满足这些要求的代码。我们发布 TaoD2C,以支持工业级 UI 代码生成研究。