文本生成的 Symphony:临床记录生成的基准评测
Symphony for Text Generation: Benchmarking Clinical Note Generation
精选理由
提供多语言临床记录数据集与评测框架,比较环境式医疗文书系统的质量,助力可复现评估与定向优化。
AI 摘要
arXiv:2610.08161v1 公告类型:新提交 摘要:环境感知式文档记录系统正迅速得到采用,但其对临床记录质量的影响仍缺乏充分研究。我们推出 MedConv,这是一个包含 300 次临床诊疗的多语言数据集,涵盖英语、丹麦语和德语。我们将其与 Ambient Clinical Intelligence 基准(ACI-BENCH)结合使用,对比临床 AI 平台 Corti 与两款基于通用 AI 构建、处于领先地位且可获取的环境感知式记录软件应用。我们提出一个受控的临床评估框架,将蕴含度量与由大语言模型评判的成对比较相结合,涵盖取自 PDSQI-9 的八个维度。结果表明,Corti 基于 API 的文本生成基础设施在表现上与领先的商业记录软件相当或更优。我们进一步表明,Corti 的可配置 API 提供了必要的灵活性,可针对特定文档记录用例精细调整各项质量维度。我们介绍了评估方法,并发布了一个数据集,以支持未来对环境感知式文档记录系统开展可复现的比较。