借助 EXplore Your Graphs ENgine (EXYGEN) 实现大规模知识图谱理解
Enabling Knowledge Graph Understanding at Scale with the EXplore Your Graphs ENgine (EXYGEN)
精选理由
深度 96 / 新颖度 88,来自 arXiv cs.AI。
AI 摘要
我们提出了 EXYGEN(EXplore Your Graphs ENgine),这是一个用于知识图谱(KG)理解的框架,支持对大规模 KG 进行对话式访问。我们依次探讨两个问题。首先,在不进行任务特定微调的情况下,仅凭自动生成的结构化元数据和少量图样本,LLM 能够多有效地执行文本到 SPARQL 的生成?我们将 VoID 描述和 ShEx 模式集成到检索增强生成(RAG)流水线中,并在 SciQA 基准上对 KG 派生的上下文进行消融实验。我们的最佳配置——结合 ShEx 模式、检索到的三元组以及示例问题-查询对——在执行结果上达到了 0.419 的精确匹配率,且无需对 LLM 进行任何微调。我们进一步发现,F1 等词法指标无法很好地预测查询正确性;一旦获得充分的上下文,规模更大的通用 LLM 可能胜过规模更小、专门针对代码的模型。其次,我们考察了如何从超大规模 KG 中生成该方法所依赖的结构化元数据,因为在这种情况下,KG 元数据生成在计算上变得难以处理。我们提出了一种谓词覆盖感知的并行图采样策略,在保持计算可处理性的同时保留结构多样性。在 OpenCitations Meta 和 GESIS 上,该策略以极少的三元组损失保持了较高的谓词覆盖率,并将运行时间缩短了 80 倍以上;在 ORKG 上,采样不仅速度更快,还是获取完整元数据的唯一可处理途径。总体而言,这些结果表明,结构化模式上下文和轻量级提示能够显著降低对微调的依赖,从而实现对 KG 的可扩展对话式访问。不过,要缩小与完全微调方法之间尚存的差距,可能需要减少对人工整理的问题-查询示例的依赖——无论是通过合成生成,还是通过执行反馈驱动的方法——并在单一基准之外对这些发现进行验证。