提交还是弃权？System One 决策模型、LLM 与缺失的法律权威

鉴于需要核查的主张数量极其庞大，可验证的法律 AI 需要具备可扩展性和成本效益的模型，以满足法律实践的实际需求。System One 决策模型建立在大型语言模型之上，但它们不生成文本，而是为每个选项返回一个经过校准的概率。这适合法律权威的核验，因为问题是封闭式的：某一给定判决理由，或者没有任何一个。我们测试此类模型在正确的法律权威缺失时是否会选择弃权。我们在 CaseHOLD 中加入弃权条件：在 5,314 个项目中的 1,670 个项目里，用其他内容替换正确的判决理由，并将四种决策模型与六种生成式 LLM 进行比较。当没有任何选项正确时，生成式 LLM 仍会在 38%–86% 的项目中选出一个选项；最谨慎的决策模型也会在 30% 的项目中这样做。在标准 CaseHOLD 上，一种决策模型以最佳生成式 LLM 相当的准确率（88.1% 对 88.2%）达到这一表现，但成本仅为其 1/55。只有在决策模型同意时才接受该 LLM 的答案，可使错误引用减少一半；在没有标签的情况下，将决策模型的概率蒸馏到 Qwen3-8B 中，则可得到一个校准良好的本地模型。对法律 AI 的评估应以其错误引用为标准，而不能只看准确率。