使用 Balanced Fine-Tuning 将 LLM 与生物医学知识对齐

arXiv:2511.21075v4 公告类型：替换 摘要：通过工程化改造 LLM 来加速生命科学研究，需要使其与生物医学知识稳健对齐。我们观察到，生物医学文本的不确定性结构与通用文本存在根本差异：密集的低置信度连续片段反映的是认知性知识缺口（密集的因果链、罕见实体），而非通用文本中典型的稀疏偶然性文体变化。基于这一发现，我们提出 Balanced Fine-Tuning（BFT），这是一种双尺度后训练方法，将基于组内归一化的词元重新加权与序列级重分配相结合，使训练资源向呈现密集认知不确定性的知识密集型样本倾斜。在相同的训练设置下，BFT 在医学评估、生物学推理、稀疏奖励强化学习和生物学表征任务中，相较于 SFT 和 DFT 带来了更一致的性能提升。当替换 GeneAgent（GPT-4o）和 VCWorld（Gemini-2.5-Flash）中默认的闭源骨干模型时，经 BFT 对齐的 70B 模型在生物学过程推理和化学扰动预测中均表现更优。关键的是，所有 BFT 变体在后续采用稀疏奖励的 GRPO 训练后均进一步提升，而 SFT 和 DFT 的性能则出现下降，这表明感知认知不确定性的后训练能够提供更稳健的策略初始化。除文本生成之外，经 BFT 对齐的 LLM 还能生成更准确、更专业的生物医学特征描述文本；使用文本嵌入模型对这些描述进行编码后，所得表征可支持基因级、细胞级和扰动响应任务，这表明 BFT 增强的生成能力能够促进生物学表征，进而助力更广泛的生物医学下游任务。