用于审计临床决策网络的权重空间编程
Weight-space programming for auditing clinical decision networks
精选理由
展示用权重空间审计并修复临床网络缺陷的方法,同时提示其无法证明模型绝对正确。
AI 摘要
放射治疗中的机器学习模型通过在已知答案的病例上进行测试来验收,但这可能无法揭示测试病例与训练数据共同存在的捷径。近期有报道称,前沿语言模型能够读取和写入小型神经网络的原始权重,这种能力称为权重空间编程。本研究旨在确定:仅向此类模型提供临床方案和网络权重,是否能够审计并修复该网络。研究人员训练了参数量为433至4,801的网络,根据四条规则筛查头颈部计划请求。研究人员通过训练数据植入缺陷:掩盖每条规则的混杂因素、将脊髓阈值偏移3 Gy,以及一个隐藏触发器。Claude Opus 5.5在不使用工具、数据或代码执行的情况下,盲审每个网络;其每项判断和修复均在约42万条请求上进行了测试。该语言模型在18个有缺陷的网络中指出了16个网络的故障规则(95%置信区间67%至97%),其中包括全部15个存在混杂因素或阈值偏移的网络。它通过修改中位数为3个参数,修复了这16个网络中的每一个。使用带有方案标签的请求进行微调也修复了所有网络,但几乎改变了每个参数。它发现的每个混杂因素和偏移都能在单个单元中观察到,而针对每类缺陷选定的简单统计量也发现了相同的缺陷。在未被强制要求的情况下,它放行了5个正常网络中的2个,并发现了3个触发器中的1个。依据方案进行测试检测出了所有缺陷,而黑盒测试更快地发现了混杂因素和偏移。结果表明,在小型网络中,权重空间编程能够定位并修复使某个输入失效或造成阈值偏移的缺陷,但目前还不能证明网络是正确的。