Vision2Code：用于评估图像到代码生成的多领域基准

arXiv:2605.11307v2 公告类型：replace-cross 摘要：我们研究视觉语言模型（VLM）能否通过编写可执行代码来生成图像，从而重建结构化的图形类图像。现有图像到代码生成基准通常覆盖的领域有限，依赖参考源代码进行评估，且未提供可量化领域特定问题的指标。为此，我们提出 Vision2Code，这是一个无需参考代码的多领域基准，包含来自 15 个不同数据集的 539 个测试样例，涵盖图表与绘图、几何图形、图结构、科学示意图、文档和三维空间场景。评估时，我们执行生成的程序，并让 VLM 评判模型依据针对各数据集和领域制定的评分准则，将程序的渲染输出与源图像进行比较。我们发现，以这种方式获得的最终分数与人类评分的相关性，显著高于使用通用 VLM 评分准则，或标准的基于像素、基于嵌入及感知相似性指标所获得的分数。我们进一步证明，在对 VLM 评判模型进行重复采样、调整评分准则权重以及引入受控错误的情况下，我们的评估仍然可靠。结果表明，现有图像到代码生成模型在不同领域的表现存在差异，其中在图表和图结构上的准确率显著高于其他领域。最后，我们展示了该评分方法在通过拒绝采样筛选生成程序以用于微调方面的实用价值：与各自的基础模型检查点相比，Qwen3.5-9B 的表现提升了 16%，Phi-4-MM 提升了 28%。我们的代码和数据已公开发布于 https://image2code.github.io/vision2code/。