ContractScrub：用于法律合同最终审查的基准

法律工作高度依赖处理大量文本，因此通常被认为是最容易受到 LLMs 应用影响的领域之一。合同“清理”（即对交易协议进行最终审查，以发现错误和不一致之处）是一项特别适合自动化的任务，因为它是常规、细致且需要对长文档保持高度关注的工作。清理工作似乎也与前沿 LLMs 在长上下文推理、一致性检查和命名实体识别（NER）方面所预期的一般能力自然契合。尽管其具有经济价值和自动化潜力，目前尚未有针对 LLMs 执行合同清理的正式评估。我们推出 ContractScrub，这是首个旨在评估合同清理能力的基准，由经验丰富的律师手工编写合同，涵盖定义术语误用、引用错误和措辞不一致等多种错误类别。尽管前沿模型在看似相关的通用基准上表现强劲，但在该任务上的表现却出人意料地差，只有一个模型的宏平均召回率达到 0.75，这表明当前模型在实践中的局限性，也凸显了针对性强、领域特定的基准对于衡量现实世界影响的重要性。