Knossos 与 Ariadne：使用视觉语言模型进行完整图表拓扑提取的基准测试与学习

结构图广泛用于科学、工程、流程和空间等领域，以表示复杂系统及其关系信息。近年来，视觉语言模型（VLM）在识别图表元素并对其内容进行推理方面的能力日益增强，但完整图表拓扑提取仍相对缺乏研究。本文研究从图表到图的拓扑提取任务：提取图表中的所有实体及其之间的完整关系。为支持该任务的大规模有监督训练和系统评估，我们提出了 Knossos，这是一个涵盖六个多样化领域、包含 19,200 张图表的基准数据集，其中包括 245,179 个节点和 439,740 条边。其符号化生成过程能够在渲染后的图表与完整拓扑、关系类型及连接器几何形状的标注之间提供精确对齐。为应对完整拓扑提取的建模挑战，我们还提出了 Ariadne，这是一个结构化框架，将该任务分解为节点清单提取和源条件边预测。大量实验表明，在 Knossos 上进行训练能够显著提升较小型开源 VLM 的完整拓扑提取能力。在监督条件匹配的情况下，Ariadne 进一步优于一步式提取方法，展现了结构化分解带来的额外收益。在 Knossos 上评测的方法中，Ariadne 取得了最高的平均 Edge F1；同时，两种骨干网络变体在真实世界外部基准上的表现也均优于未经适配的对应模型。代码和基准数据集见 https://github.com/bangwayne/knossos_Ariadne_Public。