零控制是必要的,但并不充分:评估用于科学发现与可解释性的接受判据
Null Controls Are Necessary but Not Sufficient: Evaluating Acceptance Guards for Scientific Discovery and Interpretability
精选理由
揭示通过测试不等于验证结论,并提供可执行的独立检验框架。
AI 摘要
arXiv:2610.22445v1 公告类型:cross 摘要:自动化发现系统提出科学解释,并检验哪些解释应当被接受。通过一项检验是否就能确立其目标主张?我们开发了四种用于改变物理描述的可执行操作:识别冗余(L1)、对动力学进行粗粒化(L2)、迁移结构(L3),以及根据守恒不平衡推断缺失量(L4)。我们通过空接受率(NAR)、正接受率(PAR)和结果一致率(CAR),评估这些操作以及三种可解释性场景。一个将每个状态都映射为零的约简,能够完美预测自身的未来。尽管不保留任何动力学变化,它仍在129个公开混沌系统中的96%上通过了闭合性检验。一个独立的可观测量保持检验则始终拒绝该约简。在受控基准测试中,组合判据接受了24/24个真实约简,并拒绝了72/72个空约简。其他操作能够区分对称性与冗余,验证结构迁移,并拒绝虚假的守恒不平衡。在语言模型和ESM-2蛋白质模型中,当所提出的对应关系被随机旋转时,线性CKA保持不变;而局部化干预能够区分真实映射与所测试的空映射。在稀疏自编码器中,富集检验拒绝了全部16个被测试的空映射,但独立消融仅支持45%的可评估富集特征,而匹配对照的比例为0.5%。这些结果揭示了两个接受缺口:描述性检验可能接受科学上空洞的候选项,而已接受的候选项可能缺乏经过独立验证的结果。可靠的自动化发现要求同时评估一项检验接受了什么,以及它确立了哪些科学后果。代码和数据:https://real-project-aether.github.io/project-aether/。