QwenVLConnector：一种用于细粒度临床感知和文本生成的快速统一医疗 VLM 聊天机器人

大多数医疗视觉-语言模型（VLM）擅长开放式报告生成和视觉问答（VQA），但在统一界面内对结构化、细粒度临床感知的支持有限。我们提出 QwenVLConnector，这是一种基于 Qwen2.5-VL 的医疗聊天机器人，在单一的下一个词元目标下统一了分类、多标签分类、文本化检测、计数、回归和自由形式报告生成。其关键组件是一个轻量级的密集多层 Connector，用于聚合低层和高层视觉特征，通过预训练的视觉 Merger 对其进行对齐，并在不增加序列长度的情况下将其与最终视觉表示融合。该设计在保持效率的同时，用互补的空间和语义线索丰富视觉词元。在 FLARE-2D 上，相比 Qwen2.5-VL 基线，QwenVLConnector 将检测 F1 从 0.55 提升到 0.85，将单标签分类从 0.37 提升到 0.51，并使报告生成的 GREEN 最高提升 18.3 分。我们进一步探索了用于报告生成的多模态上下文学习，显示出无需更新模型参数即可获得额外改进。总体而言，QwenVLConnector 为将结构化医疗感知与开放式临床文本生成相结合提供了一个统一且高效的框架。我们的代码可在 https://github.com/plnguyen2908/QwenConnector 获取。