arXiv cs.AI精选74

合适的信息抽取流水线取决于文档:小型本地模型的准确率—能耗权衡

The Right Information Extraction Pipeline Depends on the Document: Accuracy-Energy Trade-offs for Small, Local Models

· 18天前

精选理由

帮助本地部署者权衡抽取准确率与能耗

AI 摘要

信息抽取流水线应处理页面图像还是解析后的文本取决于文档,并且答案会随着版面复杂度谱系而反转。我们在一项排除(封闭式)云服务的约束下研究这种权衡:由小型($\le 8\mathrm{B}$ 参数)纯文本模型和视觉—语言模型在本地处理隐私敏感文档,并在涵盖输入表示、模型家族和推理配置的设计空间中,从准确率和能耗两方面进行评估。通过在近乎纯文本的 Kleister-NDA 合同和版面丰富的 VRDU 表单上进行基准测试,我们发现批处理是最主要的能耗调节手段,在不损失准确率的情况下将每页能耗降低 38-85%;而 FP8 量化在逐个处理请求时可节省 27-32% 的能耗,但一旦应用批处理,每页节省不到 1mWh(9-19%)。预处理主导了剩余能耗:神经 OCR 的每页能耗是传统 OCR 的 $17\times$,且从未达到 Pareto 前沿。哪种表示更优会随文档类型而反转:对于版面丰富的文档,视觉—语言模型胜出;对于近乎纯文本的文档,搭配廉价解析器的小型纯文本模型胜出,其准确率更高,成本也低于任何视觉—语言配置。我们的工作为能耗高效、符合隐私要求的本地信息抽取提供了具体指南。

查看原文(arXiv cs.AI)