大型语言模型了解哥伦比亚法律吗？哥伦比亚法律体系的可靠性基准

大型语言模型（LLMs）正越来越多地用于支持法律实务、教育和研究，但其在美国以外国家法律体系中的可靠性仍鲜有记录。我们推出了一个经专家验证的基准，用于评估LLMs在哥伦比亚法律体系中的可靠性。该基准包含1,042个条目，涵盖十个法律领域和三种问题形式（封闭式选择题、半开放式问题和开放式IRAC问题），通过人在回路流程构建，并经过多阶段专家审查。我们使用适合不同问题形式的指标，对15个当代专有模型和开放权重模型进行了评估。封闭式问题的准确率差异很大，从0.905（Gemini 3.1 Pro）到0.577不等；但在自由文本法律回答中，任何模型的事实正确性都未超过0.45（0-1量表）。我们发现回答相关性与正确性之间存在分离（Spearman rho = -0.46）：模型能够可靠地给出听起来切题的回应，却经常出错，这一现象尤其令非专业用户担忧。封闭式问题准确率与自由文本正确性具有很强的排名相关性（rho = 0.94），因此，低成本的选择题筛选可以预测模型排名，但会高估绝对可靠性。独立的基于评分标准的LLM评审以及盲法人工专家评分，都重现了自由文本回答的排名（rho >= 0.88）。评审还进一步揭示，模型引用的法律规范中只有约一半是正确的，其余要么错误，要么并不存在。可靠性会随法律领域系统性变化，并且随着问题复杂度增加呈倒U形变化。我们的研究结果表明，当前LLMs在处理哥伦比亚法律任务时需要专家监督，而将回答建立在权威来源之上，是提高可靠性的有前景路径。我们公开了基准构建流程，以支持可复现的评估。