arXiv cs.AI精选83

引用但未查阅:法律思维链忠实性的反事实审计

Cited but Not Consulted: A Counterfactual Audit of Legal Chain-of-Thought Faithfulness

· 5天前

精选理由

揭示法律模型“引用有理、判决不依”的风险,助力更可靠的合规审计与评测。

AI 摘要

大型语言模型越来越多地通过指出判决背后的法条或判例来为法律决定提供理由,并将此视为该决定源于该法律依据的证据。我们对此进行直接检验:在保持案件事实不变的情况下,将模型所指出的法律依据替换为一个无关的依据,并从模型的隐藏状态中解码其不断演变的判决。在七个开放权重模型(8B-70B)和涵盖司法与合同推理的四个基准测试中,当明确要求模型通过指出所适用的法律依据来证明判决时,模型在66.7%-100%的生成结果中指出了正确依据;然而,随着法律依据变化而改变判决的情况则远不稳定:在CaseHOLD上为0.0%-21.7%,在ECHR和SCOTUS上为30.0%-76.7%,在ContractNLI上为43.3%-50.0%。无论是扩大模型规模,还是采用专门构建的法律推理模型(尽力复现的LoRA模型;第6节),都无法弥合这一差距。对五个核心模型进行的红队评估发现,模型遵从隐藏在案件事实中的对抗性指令的比例(73.3%-96.4%)远高于其对判决替换的敏感度,而且这一现象在不同模型排名中无一例外地成立。因此,指出法律依据并不能很好地作为判决依赖该依据的代理指标;与此同时,同一判决仍会分别受到对抗性操纵的影响。两项发现均在排除提示措辞噪声和混杂采样因素的检验中得到复现,并且直接关系到将生成式法律解释用作合规或审计凭证的问题。

查看原文(arXiv cs.AI)