CroissantMiner：面向机器学习数据集的 Croissant 元数据自动提取与验证

arXiv:2610.07132v1 公告类型：cross 摘要：Croissant 已成为机器可读数据集元数据的标准，但填充其字段仍然十分耗费人力，并且需要仔细阅读随附的数据集文档。我们提出了首个支持端到端评估元数据提取的基准，该提取任务遵循社区标准模式。该基准包含 602 篇论文，其中 102 篇带有人类验证的金标准标注，500 篇带有由 LLM 生成的银标准标注，涵盖完整的 Croissant 模式，包括核心字段和负责任人工智能（RAI）字段。利用这一基准，我们在双层评估框架下评估了多种提取系统，涵盖前沿模型、开放权重模型和智能体架构。该框架将基于规则的评分与经人工审核选出的 LLM 评审器相结合。我们发现，单次提取始终优于所评估的四种智能体架构：在不同骨干模型上，这些分解式变体的准确率均低于一次完整上下文提取。差距最大的是长篇 RAI 字段，这些字段需要综合并解读散落在论文各处的信息，而不是从单一位置直接复制；在这一场景下，当前系统距离可靠运行仍相去甚远。我们发布了该基准、评估代码、评审器审核结果、在线演示，以及一个向新系统开放的排行榜。