Jev 在医学领域：一项基准评估

arXiv:2609.34024v2 公告类型：替换交叉版本 摘要：Jev 是一种非生成式“System One”模型，为预定义的答案选项分配概率，无法回答选项范围之外的问题。其在医学问答和基于病例的诊断推理任务中的准确率与校准情况尚不明确。我们在四项医学基准测试上评估了 Jev 1.13：MetaMedQA、PubMedQA、DiagnosisArena-MCQ 和 NEJM Case Challenges。GPT-6 Sol 采用（medium）推理和不采用推理的版本作为参照。主要结局指标是 top-1 准确率；关键次要结局指标包括校准、选择性预测以及识别无法回答的问题。全部 8,469 次请求均返回了有效答案。在 PubMedQA 上，Jev 的准确率与采用 medium 推理的 GPT-6 Sol 相近（78.4% vs 78.2%；）；在 MetaMedQA 上较低（74.8% vs 82.7%），在 DiagnosisArena-MCQ（59.8% vs 82.4%；）和 NEJM 病例（61.8% vs 82.4%）上则显著较低。在 MetaMedQA 上，Jev 的概率校准效果最佳（预期校准误差为 0.063 vs 0.146）；其概率至少为 0.9 的答案占问题总数的 52.9%，准确率为 93.4%，但 GPT-6 Sol 在接受相同比例的问题时同样准确。在 DiagnosisArena-MCQ 上，Jev 的概率区分能力较差（AUROC 为 0.645 vs 0.768）。在正确答案为“我不知道或无法回答”的 162 个问题中，Jev 选择该选项的比例为 10.5%（GPT-6 Sol 为 8.6%）。中位延迟为 0.27–0.31 秒；全部 2,823 个项目的成本为 0.08 USD。Jev 速度快、成本低；在研究摘要上的准确率与一种前沿 LLM 相近，但在考试题目上的准确率较低，在复杂诊断病例上的准确率则显著更低。在临床使用前，需要进行针对具体任务的验证。