在缺乏因果验证的情况下降低 logprob：诊断 LLM 中基于 SAE 的 PII 抑制

基于 SAE 的特征级干预主要通过降低 logprob 来评估其对 LLM 中 PII 泄露的抑制效果。我们表明，这一标准无法区分针对特定特征的抑制与幅度伪影，即足够大的激活扰动所产生的、与方向无关的效应。在 36 个（模型、层、PII 类型）案例中，我们使用 logprob 和考虑排名的指标，将选定的 SAE 特征干预与连贯性匹配的随机方向对照进行比较。仅在 logprob 评估下，17 个案例（47%）看似成功，但在我们的多指标框架下，只有 1 个案例（2.8%）通过。其余案例揭示了两种失效模式：随机方向的效果优于选定特征，以及跨 PII 类型的特征选择崩溃。这些结果表明，现有评估无法验证干预是否针对 PII 泄露的因果路径。一项包含 9,000 次运行的因果中介可行性研究进一步支持了这一结论：验证器能够可靠地区分候选项，但通过相关性选出的候选项很少通过验证。因此，我们为 NLP 提出一项新的研究使命：通过电路级定位和因果中介分析，实现具有因果依据的 PII 抑制。