每条边都需要引文:利用语言模型智能体构建以引文为依据的医疗软件采用知识图谱
Every Edge Needs a Quote: Building a Quote-Grounded Knowledge Graph of Healthcare Software Adoption with Language-Model Agents
精选理由
以逐条原文引证核验医疗软件客户与集成关系,帮助采购者获得更可靠、可追溯的决策依据。
AI 摘要
医院经常采购临床医生和患者所依赖的软件。由于这些采购成本高昂、难以撤销,并且可能影响患者诊疗,采购方会寻找证据,以了解哪些同类机构已经使用某款产品,以及该产品能与哪些系统连接。这些证据是公开的,但分散在供应商网站、新闻稿和第三方网页中。如今,语言模型智能体能够以低成本收集这些证据,但提取出的陈述是否正确却难以确定,而错误列出的客户可能误导采购方,并造成对某个组织情况的不实呈现。我们提出了一条流水线,从公开网络中构建包含客户关系和集成关系的知识图谱,并遵循一条规则:每条边都必须有来自其来源页面的逐字引文支持。页面通过两种方式获取:对每家供应商的网站进行确定性爬取,以及使用受预算限制的 ReAct 智能体搜索网络上的其他内容。一个宽松的提取器提出附带引文的候选关系,再由分层的证据核验阶段决定保留哪些关系。该阶段包括:当引文仅提及关系的一方时,通过阅读整个页面确定指代对象;执行确定性检查;以及由五次模型调用组成的评审组依据九项标准进行投票。在针对 61 家供应商的评估中,以覆盖提取器所提出的 6,428 条候选关系的页面级标准答案为参照,该流水线的精确率达到 0.94,召回率达到 0.71;这些标准答案的判定由一个模型起草,再由另一个模型复核。以该软件市场自行整理的名单作为黄金参考标准时,其得分较低,但在流水线保留而参考名单未收录的关系中,有 89% 在某个页面上有明确表述。基于评审组投票构建的置信度分数,在相同精确率下比固定规则保留了更多正确关系,并在召回率为 0.90 时达到 0.90 的精确率。我们还讨论了任务范围狭窄且有明确边界的模型调用、通过字符串匹配核验的证据以及投票机制,如何应对长上下文下的性能退化和不同运行之间的结果波动。