面向不完美提示词的设计：基于 Simulation 的使用 Knowledge Graph 的 LLM 企业数据助手评估
Designing for Imperfect Prompts: A Simulation-Based Evaluation of an LLM-Based Enterprise Data Assistant Using Knowledge Graphs
精选理由
展示知识图谱如何提升企业数据助手对模糊提问的理解与查询准确性。
AI 摘要
使用大语言模型（LLM）的企业数据助手有望在组织内实现数据访问民主化。然而，在与一家行业合作伙伴的 CFO 部门数据湖进行真实部署时，我们观察到，业务用户经常提出不完美的提示词，其中包含领域特定词汇，却缺乏模式引用或结构信息。本项 Design Science Research 研究考察了利用语义中介层实现自动解析的方法。我们设计并评估了两种设计方案：一种是通过语义相似度实现的基于模式的中介，另一种是利用从数据湖中自动构建的知识图谱实现的基于知识图谱的中介。基于真实世界数据的 Simulation 评估，并结合 LLM-as-a-Judge 评估和人工验证，结果表明，基于知识图谱的中介在 Precision、Recall、F1 以及保持用户意图方面均优于基于模式的方法。我们提出了基于知识图谱的中介设计原则，证明结构化知识表示能够衔接用户意图与数据库结构，并指导面向不同技能水平用户的企业数据助手设计。