迈向 System One 临床智能:决策基础模型的参数高效微调与反事实可解释性
Toward System One Clinical Intelligence: Parameter-Efficient Fine-Tuning and Counterfactual Explainability of Decision Foundation Models
精选理由
深度 92 / 新颖度 78,来自 arXiv cs.AI。
AI 摘要
基于患者自述症状的自动疾病分类,需要在轻量级判别模型的速度与自回归大语言模型(LLM)的上下文理解能力及延迟成本之间取得平衡。决策基础模型提供了另一种选择:无需生成自由文本,而是将表示直接映射到候选类别。我们将基于 Qwen3.5 骨干网络构建的 90 亿参数决策模型 Clef-Flash,针对 Symptom2Disease 基准中的 24 类疾病分类任务进行适配。采用结合差分学习率的 4 位量化低秩适配(QLoRA),并将数据分层划分为 960 个训练样本和 240 个测试样本后,该模型取得了 95.42% 的诊断准确率和 0.9551 的宏平均 F1 分数。这一结果优于已报告的零样本基线:远程 API 为 61.67%,本地未适配初始化模型为 65.00%;同时也超过了 ClinicalBERT 基线(90.90%)。通过单次前向传播评估候选类别的 logits,无需进行自回归解码,模型在单块 GPU 上对每条记录的推理耗时低于 80 毫秒,据报告,相较生成式 LLM 基线实现了 31 倍加速。为考察症状层面的证据,我们提出了留一症状法(Leave-One-Symptom-Out,LOSO)反事实扰动框架。在一个银屑病示例中,移除定义疾病的症状描述后,预测类别的置信度从 100.00% 降至 0.12%,并将预测结果转为脓疱病,置信度为 99.59%;而移除次要的全身性症状时,置信度变化小于 0.01%。这些发现表明,基于决策的架构能够将大型基础模型的语言能力与低延迟推理及症状层面的可解释性相结合,从而服务于临床分诊。