通过层次化检验定位神经表征中编码的预测性概念
Localizing predictive concepts encoded in neural representations via hierarchical testing
精选理由
提出带错误率控制的神经网络概念定位方法，帮助发现影响基因组预测的调控基序，提升模型解释性与可信度。
AI 摘要
arXiv:2610.41046v1 公告类型：新论文 摘要：了解基因组深度学习模型学习了哪些调控序列基序，并提供统计误差保证，对于信任其在变异效应预测等下游任务中的应用至关重要。现有用于识别已训练网络中哪些单元编码了人类可理解概念的方法分为两类。探索性方法对单元进行排序和可视化，但无法从统计上保证所选单元在输入总体中与预测目标相关。基于检验的方法仅检验单个单元或一个预先定义的单元集合，并不控制跨多个单元集合的误差。我们提出了 CUTTIE（具有误差控制的聚类树单元自顶向下独立性检验），该方法将每一层的单元聚类成树，并通过条件独立性检验自顶向下地检验各个簇，在控制族错误率的同时定位有关目标的信息。由此，我们识别出在该层其余单元所含信息之外，还携带目标相关信息的簇。随后，针对所识别簇中的单元，条件归因图揭示了它们编码的基序。在受控模拟中，该流程识别出了其概念会影响目标的簇。我们将该流程应用于一个根据 DNA 序列预测细胞类型特异性染色质可及性的卷积模型，发现所识别簇中编码的概念对应于已知的调控基序。