基于 LLM 的临床文本到 SQL 的对话式交互:一项面向医疗专业人员的用户研究
Conversational Interaction for LLM-Based Clinical Text-to-SQL: A User Study with Healthcare Professionals
精选理由
真实医生用户研究表明,多轮对话能提升临床数据库查询的易用性与信任,并有效应对真实问题中的歧义。
AI 摘要
对话式文本到 SQL 界面可以让医疗专业人员通过自然语言访问电子健康记录(EHR)数据,但有关其在真实世界中可用性的证据仍然有限:以往的评估主要依赖包含表述完整问题的精心构建的基准测试,或依赖模拟用户。我们报告了一项采用被试内设计的用户研究,其中 14 名经常使用 EHR 数据的医生在 MIMIC-IV 数据库上分别使用了单轮文本到 SQL 界面和对话式多轮文本到 SQL 界面;对话分析还使用了来自主研究和两项试点研究中共 21 名医疗专业人员的交互日志。对话式界面始终更受青睐:系统可用性量表平均得分从接近行业平均水平的 68.2 分升至 85.9 分(p<0.001),并在绩效期望、努力期望、自我效能和行为意向等技术接受度构念上均表现出显著优势。在研究后的强制选择比较中,93% 的参与者表示对对话式界面的总体满意度更高,86% 更倾向于在实际工作中采用该界面,71% 更信任其结果;没有参与者更偏好或更信任单轮界面。对日志中 425 个用户轮次的逐轮分析显示,自由编写的查询有 24.8% 触发了澄清请求,而预定义且表述完整的问题仅有 1.8% 触发澄清请求;64.3% 的澄清过程源于 EHR 或临床领域知识。对于通过自然语言访问 EHR 而言,对话式交互是实际应用的必要前提,而非仅仅提供便利。真实临床查询中频繁出现的澄清需求进一步凸显了对话式界面的重要性,而基准测试式评估可能严重低估真实临床使用中的歧义程度。