低秩解码器瓶颈限制基础模型扰动预测的可靠性

arXiv:2611.05849v1 公告类型：新论文 摘要：对扰动响应基础模型预测器的评估主要依赖总体准确性。利用其预测来确定实验优先级，需要评估每项预测的可靠性。我们在三种编码器（SE-600M、scGPT 和 Tahoe-x1）以及四种接受 CRISPRi 扰动的细胞系上，审查了 STATE 中使用的状态转移（ST）解码器。该解码器的第一个注意力层具有低秩输出。将该输出投影到根据训练激活值估计的 4–32 个固定方向上，可保持各扰动的 Pearson 差值相关性（PDC）的均值。这一低秩注意力瓶颈使解码器的可靠性受到其与训练响应之间距离的限制：随着某一扰动的观测响应与其最近训练响应之间的余弦距离增大，PDC 随之下降。我们提出 predicted-NN-distance，即预测响应与其最近训练响应之间的余弦距离，作为单项预测的置信度评分。该评分与 PDC 的 Spearman 相关系数绝对值的均值为 0.81，接近使用观测响应所得到的 0.88。基于该评分校准的阈值可跨编码器和细胞系迁移，而且该评分对药物扰动的 PDC 仍具有预测能力。