扩展法律 AI：对 Mamba 和 Transformer 在成文法分类与判例检索中的基准测试

arXiv:2509.00141v2 公告类型：替换交叉版本 摘要：成文法语料库和司法判决的增长速度已经超过法律专业人士的阅读能力，而单份判决通常会超出标准编码器模型的上下文限制。Transformer 架构在法律 NLP 基准测试中占据主导地位，但其二次方注意力复杂度可能迫使人们截断或拆分那些需要进行全文档推理的文档。选择性状态空间模型（SSM），例如 Mamba，能够以线性时间进行序列建模，是处理长篇法律文档的有前景替代方案；然而，其在法律分类和检索任务上的表现仍缺乏充分研究。我们提出了一项初步基准测试，在四项法律分类任务（ECtHR、EUR-Lex、SCOTUS 和 ILDC/ILC）以及两项判例检索任务（ECtHR 和 ILDC）上，采用统一的窗口化与聚合流程，对比 Mamba 和 SSD-Mamba 与 BERT、DeBERTa 和 Longformer 的表现。在各项任务和指标上，表现最强的 SSM 与表现最强的 Transformer 之间的差距约为 1.3 个百分点。SSD-Mamba 在 ECtHR 分类、ILDC 分类和 ECtHR 检索的大多数指标上取得了最佳结果，同时每秒处理的词元数量约为 DeBERTa 的 3 倍、Longformer 的 4 倍。DeBERTa 在 SCOTUS 和 EUR-Lex 的 F1 指标上仍然表现最强。这些结果仍属初步结论，因为研究未提供不同随机种子之间的方差估计，也未进行统计显著性检验。我们并非要给出一个确定性的排名，而是利用这些发现推动进一步评估，包括重复随机种子实验、统计检验，以及对模型容量和计算效率进行控制。