从奖励信号到视觉效用：医学 VLM 后训练的受控审计

医学视觉语言模型（VLM）后训练通常通过答案准确率进行评估。我们在 PMC-VQA 上开展了一项受控的 Qwen2.5-VL-3B 研究，考察准确率和训练目标的变化如何与基于图像条件的决策相关。我们比较了仅限于语言模型的低秩适配（LoRA）监督微调（SFT）、扩展的多模态适配范围、标准的仅答案 Group Relative Policy Optimization（GRPO），以及一种反事实证据目标。在 2,000 个干净测试问题上，语言模型 LoRA SFT 使正确图像准确率变化了 +1.10 个百分点（95% 配对 bootstrap 置信区间：-0.85 至 +3.05），而视觉受益事件减少了 2.40 个百分点，图像敏感性减少了 5.60 个百分点。配对记录显示，新增了 155 个视觉受益事件，丢失了 203 个视觉受益事件。更广泛的适配相比语言模型 LoRA SFT 产生了更低的正确图像准确率。标准 GRPO 产生了混合奖励组和参数更新，其干净测试准确率变化存在不确定性。生成审计显示，规范选项分数可能遵循与生成答案不同的 token 路径。当沿贪婪生成路径获取分数时，证据目标在训练集上有所提升；在匹配训练剂量的验证数据上，其相对于标准 GRPO 的增益仍不一致。样本级分析追踪了后训练过程中证据分数、决策边际和生成答案如何变化。这项实证与测量审计识别了优化活动、目标获取和有用的留出视觉行为之间的差距。