无规则的裁决：诊断与审计 LLM 合规系统对监管规则的敏感性

大型语言模型合规系统的部署建立在这样一个假设之上：裁决取决于其接收到的监管规则。我们在五个模型和20个监管及平台政策领域中直接检验这一点：在保持案例不变的情况下，删除、替换或否定起支配作用的规则，并检查裁决是否发生变化（OCS），或模型对合规性的内部表征是否发生任何偏移（ICS-delta）。两者的变化都不大：对于所提供规则的重大扰动，模型的裁决通常保持不变；而在这里采用其原生分类体系的自定义规则改编版本进行评估的 guard model，是五个模型中对规则最不敏感、准确率也最低的模型，准确率仅略高于随机水平（51%，而通用模型为90%–92%）。这更多反映了案例较为容易，而非模型普遍忽视规则：在删除规则会使模型此前正确的预测发生改变的案例中，模型能够密切跟踪规则。无论是改进提示，还是直接干预模型的内部表征，都无法弥合这一差距。仅凭准确率，无法证明合规裁决是以所提供的规则为依据的。