面向分类体系感知的医疗语言模型适配的条件秩分配
Conditional Rank Allocation for Taxonomy-Aware Medical Language Model Adaptation
精选理由
介绍面向医学问答的条件路由适配方法,助力多专科模型提升性能。
AI 摘要
医疗问答涵盖多个专科和临床操作,而不同任务可能受益于不同的适配方向。我们提出 ARBOR,一种参数高效方法,为每个问题从共享低秩基中选择秩一分量。加性门控机制结合问题表示、专科标签、操作标签及其交互信息;一个学习得到的系数用于缩放适配器残差。在正交且等概率的子任务下,一个示例性分离结果表明,在激活秩相同的情况下,条件选择可以避免固定更新所面临的逼近误差下限。该结果为方法设计提供了动机,但并未声称医疗语料库具有相应的界。基于 Qwen3-8B,在 CMB、CMExam、MedQA 和 MedMCQA 上进行的五个随机种子实验显示,跨基准测试的平均准确率为 69.69%,分别比 LoRA r16 和 MoELoRA 高出 1.26 和 1.30 个百分点。随着训练范围从一个专科扩展到七个专科,相较于 LoRA r16 的报告优势从 0.08 个百分点增至 1.94 个百分点。标签扰动和原子屏蔽实验支持临床路由的有效性,而原子簇与所提供的专科标签相一致(调整兰德指数为 0.62)。校准、迁移能力和实测成本进一步刻画了该方法。这些发现支持将结构化条件适配用于医疗问答,但临床安全性和更广泛的部署仍未经过测试。