在能力边界处通过熵自适应量规落地对齐医学视觉语言模型

医学诊断推理需要在视觉证据与临床知识之间建立可验证的联系，但当前医学视觉语言模型所采用的对齐目标却在奖励错误的行为。统一的监督微调会使简单案例主导参数更新，而临床关键的边界案例则过早达到饱和。仅基于最终答案正确性的稀疏奖励无法评估解剖学落地或临床逻辑，从而为通过答案捷径进行奖励投机留下空间。我们提出 MedCBR，一种将边界感知偏好优化与基于量规的强化学习相结合的两阶段对齐框架。首先，我们利用经验通过率，在模型能力前沿构建反事实边界偏好，并构造共享推理前缀、但在决定性诊断分支处产生分歧的偏好对。难度加权边界偏好优化（DBPO）将学习集中于这一经过校准的边界区域。其次，我们从边界轨迹中蒸馏可复用的临床评估量规，并根据预测熵激活这些量规。熵门控落地策略优化（EGPO）奖励答案正确性、解剖学落地和推理保真度，同时抑制可靠样本上的量规噪声。以边界对齐模型为锚定的参考策略，将群体层面的边界先验与实例层面的不确定性相结合，使诊断推理更加准确且更具临床落地性。在六个医学基准上的实验表明，相较于强大的通用、专用和强化学习基线方法，该方法均取得稳定提升，平均准确率达到 61.2%，其中在具有挑战性的鉴别诊断任务上提升最大。消融实验显示出超加性的收益：两阶段结合后的提升超过各自单独提升之和。