arXiv cs.AI精选74

LLM Agent 的图记忆:代价几何?跨图数据库引擎的查询、导入与更新性能比较评估

Graph Memory for LLM Agents: At What Cost? A Comparative Evaluation of Query, Ingest, and Update Performance Across Graph Database Engines

· 24天前

精选理由

揭示图数据库性能取舍与数据准备成本,帮助LLM Agent按工作负载选型。

AI 摘要

图数据库经常被描述为连接数据工作负载中不可或缺的类别,但它们实际存在差异的系统维度——查询规划、索引以及使数据具备可查询性的成本——却很少从厂商的宣传框架中被单独剥离出来。我们构建了一个具有生物医学形态的合成属性图(102 万个节点、节点和边共计 534 万行),以及包含邻域查找、有界路径、集合交集、反连接、分组聚合、top-k 排名、时间过滤、全表扫描和关系连接在内的 20 个查询组成的工作负载。我们在三个相差三个数量级的图规模上,将 Corvic AI——支撑 Corvic 本体管理层(“memories”)的专用列式查询引擎——与七个专用图数据库或图扩展数据库系统(LoraDB、Ladybug、DuckPGQ、Memgraph、Neo4j、HugeGraph 和 FalkorDB)进行了基准测试。我们报告了每个系统的查询延迟几何平均值、批量导入吞吐量、点更新延迟和答案正确性,并建立了一个简单的总拥有成本模型,将导入与查询之间的权衡表示为查询量的函数。我们的核心发现是,在这一样本中没有任何系统在所有方面都绝对最快:原生图引擎 Ladybug 在狭窄的有界邻域查询形态上优于 Corvic AI,而 Corvic AI 在需要扫描或连接图中较大比例数据的查询形态上更快;通过 SQL/PGQ 实现图查询语法的系统 DuckPGQ,则仅仅由于查询计划选择的原因而明显更慢。在我们的数据中,占主导地位的成本差异并非查询延迟,而是让数据具备可查询性的成本:不同引擎的批量导入吞吐量相差三个数量级(5.0k–4.3M 行/秒)。简单的临界点计算表明,对于每次数据刷新查询次数少于约 105 次的任何工作负载而言,这一差距都将主导总成本。

查看原文(arXiv cs.AI)