从电子健康记录中检索信息的动态基准

基于大语言模型（LLM）的临床助手正日益集成到电子健康记录（EHR）系统中，改变临床医生从患者记录中检索和综合信息的方式。其安全性和实用性取决于严格的评估，但现有基准通常依赖人工整理，更新成本高，并且会随着技术进步而迅速过时。我们提出了一个可扩展的框架，能够从纵向EHR记录中自动生成问题—答案对。19名临床医生对该基准生成器进行了验证，由此形成了电子健康记录信息检索基准（BRIE），这是一个可持续维护的评估数据集。在对9个LLM和5种推理策略的评估中，最先进的系统经常遗漏临床重要信息，尤其是在需要跨多个文档和就诊经历进行综合的问题上。由于生成器本身经过验证，BRIE支持静态基准无法实现的评估，包括生成多个答案，以反映临床医生推理的差异，从而进行稳健的性能评估；同时持续刷新基准内容，以防止数据泄漏。我们的结果表明，可扩展的基准生成能够在快速发展的医疗环境中部署临床LLM时，实现严格且及时的评估。