CardioLM：面向心脏病学领域的多语言小型语言模型套件

背景：心血管诊疗会产生大量以当地语言撰写的临床自由文本记录。然而，临床自然语言处理（NLP）资源仍主要集中于英语，且现有基准中没有任何一个同时具备心脏病学专属性、多语言支持和广泛的实体覆盖范围。方法：我们提出两项贡献。第一项是 CardioCCC，这是一个包含 508 篇心脏病学病例报告的语料库，原文以西班牙语发表，通过机器翻译、标注投射和临床医生审核扩展至捷克语、荷兰语、英语、意大利语、罗马尼亚语和瑞典语，标注涵盖疾病、症状、诊疗操作和药物。第二项是 CardioLM，包括 CardioBERTa 和 CardioNER：前者是一组通过在心脏病学和生物医学语料库上继续预训练获得的特定语言编码器，后者是一组在 CardioCCC 上微调的命名实体识别（NER）模型。结果：心脏病学专项预训练使伪困惑度最低降至原来的八分之一，但严格片段级 F1 的变化幅度最多仅为 0.04，收益主要集中在骨干模型缺乏生物医学覆盖的语言上。联合训练的多语言 XLM-RoBERTa-large 模型在几乎所有语言和实体类型上都取得了最佳严格 F1，较最强的单语言系统最多高出 0.13。剩余错误中有很大一部分涉及边界检测：宽松匹配使疾病、诊疗操作和症状的 F1 提升了 0.10–0.23，而药物仅提升了 0.01–0.07。临床医生对 CardioNER 的评分远高于基于规则和词典的基线系统，各实体类型的平均评分从 26% 升至 73%。结论：专科专项预训练并非下游实体识别的决定性因素，而多语言联合训练在几乎所有设置下都能取得最佳结果，并为多国临床信息抽取提供更简单的部署路径。