arXiv cs.AI精选72

Lot Machine: 拍卖目录中的多模态拍品提取

Lot Machine: Multimodal Lot Extraction from Auction Catalogs

· 43天前

精选理由

帮助读者高效提取拍卖目录信息,便于溯源研究与大规模分析。

AI 摘要

对于来源研究和艺术市场研究而言,拍卖目录是追踪特定物品在时间与空间中流转的重要资源。尽管历史拍卖目录遵循既定的领域规范,其内部格式仍然高度多样,而由于缺乏可机器读取的拍品表示,对其进行大规模分析目前仍受到限制。我们提出一个流程,能够从 German Sales 这一涵盖19世纪和20世纪历史拍卖及销售目录的大型数据库中自动提取结构化的拍品级元数据。我们使用一个由人工标注的代表性目录页面测试集,在不同提示策略和受限解码框架下评估 Vision-Language Models (VLMs)。为反映文化遗产机构面临的实际约束,包括预算、算力资源和数据隐私要求,我们在从商业服务商到本地托管的量化模型等不同部署模式下对这些方法进行基准测试。我们发现,商业端点设定了性能上限,而机构网关则提供了一种可行且保护隐私的替代方案。本地部署仍然可行,但必须在生成过程中严格约束输出结构,以保证得到有效的 JSON 格式。尽管不同程度的人工在环修正仍然必要,但这项工作表明,基于 VLM 的流程能够成功地将历史拍卖目录用于大规模自动化分析。

查看原文(arXiv cs.AI)