生物推理模型何时使用其生物学输入？

arXiv:2610.00898v1 公告类型：新 摘要：生物推理模型通过后训练，将 LLM 与生物基础模型表征及生物学文本连接起来。人们将其基准测试准确率视为 LLM 在这些输入上进行推理的证据。我们在涵盖 DNA、蛋白质和单细胞任务的六种生物推理模型中检验这一假设。我们在固定查询和其他输入的同时扰动一个生物学输入，构造证据冲突，将一个基因组、蛋白质或细胞的基础模型表征与另一个对象的文本配对；我们还对语言模型接收的表征拟合线性探针，并将推理轨迹与生物学输入进行比较分析。在所评估的任务中，Evo2 和 ESM3 对 BioReason 和 BioReason-Pro 性能的贡献很小。打乱 DNA 序列几乎不会改变 BioReason 的疾病预测准确率；在证据冲突情形下，这两个模型分别有 97.9% 和 99.7% 的情况下遵循文本信息。基于 Evo2 和 ESM3 表征训练的线性探针能够预测任务目标，这表明这些基础模型编码了与任务相关的信息，但它们对 BioReason 和 BioReason-Pro 整体性能提升的作用有限。相比之下，基础模型输入对 ChatNT、Prot2Text-V2 和 CellWhisperer 的性能有贡献，而基因句子中的差异表达基因则对 Cell2Sentence-Scale 的性能有贡献。在 BioReason-Pro 的 SFT 和 RL 检查点以及 42 个 BioReason 检查点中，准确率的提升并不意味着生物学输入的性能贡献更大。BioReason 的推理轨迹会错误陈述核苷酸变化，而在证据冲突情形下，BioReason-Pro 的推理轨迹会描述最终预测中遗漏的功能。我们发现，当前的后训练策略并不能确保基础模型表征对任务性能有所贡献。