arXiv cs.AI精选77

Fathom-Vaidya:通过基于评分标准的奖励推进医学推理

Fathom-Vaidya: Advancing Medical Reasoning with Rubric-Based Rewards

· 22天前

精选理由

影响力 85 / 深度 80,来自 arXiv cs.AI。

AI 摘要

在医疗保健领域部署大型语言模型(LLMs)需要在两个互补维度上具备稳健的性能——诊断推理:一项收敛性的、以证据为驱动的任务,即根据临床数据推断患者状况并作出诊断;以及临床医疗推理:一种更广泛的导航式判断能力,用于在多轮临床交互中进行沟通、制定计划并作出调整,因为这类交互可能不存在唯一正确答案。近期的 HealthBench 和 MedXpertQA 等基准测试揭示了这两个方面持续存在的不足,暴露出模型在复杂诊断场景中的失败,以及在具备上下文意识、以患者为中心的对话方面的局限。我们提出了一种顺序训练框架,利用合成数据和基于评分标准的强化学习来针对性提升这两类能力。首先,我们使用源自 MedBullets 的问题,并通过规则和评分标准指导的强化学习(RL)来提升诊断推理能力。随后,我们通过生成 5.3k 个合成多轮场景,将重点转向临床推理;每个场景都配有多维评分标准,以全面评估模型响应。该方法使 MedXpertQA 的表现提升了超过 10%;我们的 30B 模型在 HealthBench-Hard 上达到了 50.1% 的准确率,超过了包括 GPT-5 (thinking) 在内的专有基线模型。结果表明,针对性合成数据集和基于评分标准的训练能够系统性地提升医学 LLMs 的诊断推理能力与交互式临床推理能力。

查看原文(arXiv cs.AI)