CAF\'E：机器遗忘的因果黑盒测试

arXiv:2509.16525v2 公告类型：替换交叉版本 摘要：机器学习模型正日益作为软件组件部署，并且必须随着需求变化而演进。当特定训练记录或特征不应再影响已部署模型时，机器遗忘旨在移除这种影响，而无需从头开始重新训练。由于机器遗忘通常是近似的，因此必须对其有效性进行测试。这类测试往往必须将模型视为黑盒，无法访问其参数、训练历史或遗忘过程。特征带来了进一步的挑战：即使某个特征已从模型输入中移除，其影响仍可能通过下游特征持续存在。许多现有检查只考察特征的直接使用，因此可能会将仍然依赖该特征的模型判定为合格。我们将遗忘测试定义为基于规范的测试，并提出 CAF\'E。该方法仅利用已部署模型的预测结果，对特征进行干预，将变化传播至其下游特征，并检查预测结果是否仍会作出响应。CAF\'E 通过直接和间接的因果路径测量目标的残余影响，其细粒度诊断还能显示哪些通道和子群体仍在传递该影响。在两个因果网络基准和四种遗忘方法上，CAF\'E 对残余影响的成对排序准确率达到 0.92--0.93，而现有检查最高仅为 0.71；后者在两个方向上都会失效：一方面，它们会将影响仍通过下游特征持续存在的模型判定为合格；另一方面，也会将已正确遗忘的模型误报为不合格。在真实人口普查数据上，CAF\'E 同样揭示了在重新训练后仍然存在、却未被直接输入检查发现的影响。