数据质量指标的实施指南

arXiv:2610.10919v1 公告类型：cross 摘要：尽管数据质量（DQ）研究已有数十年，但数据质量维度（如准确性或完整性）与数据质量工具之间仍存在鸿沟。文献通常以文本形式定义这些维度，而数据质量工具通常实现的是与这些维度不一致的底层检查。ISO/IEC 25024 和 ISO/IEC 5259 试图通过为每个维度定义数据质量指标来弥合这一鸿沟。然而，这些数据质量指标很少被使用，因为标准没有明确如何实现它们。例如，语法准确性指标统计语法准确的值，但没有说明如何判断一个值在语法上是否准确。这只是将问题转移到了另一个层面，并未真正解决问题。因此，目前的数据质量评估无法以这些标准为基础开展。在本文中，我们使 ISO 数据质量指标具备可执行性。我们将两项标准中的所有数据级指标分为三类：（i）无需数据之外的其他输入即可使用的可泛化指标；（ii）其参数可以从干净的参考数据中学习或由专家设定的参数化指标；以及（iii）需要定性判断且无法自动化的不可泛化指标。对于可以自动化的指标，即类别（i）和（ii），我们提出了实施指南，以解决标准中未明确的问题。我们在 dqmeasure 中实现了这些指南。dqmeasure 是一个包含 20 个指标的开源库，可以从参考数据中学习这些参数，而不是依赖人工定义的规则。我们在真实世界数据集和合成数据集上的实验表明，随着注入错误数量的增加，指标得分会单调下降；指标得分会与下游机器学习性能同步下降；并且指标计算能够随行数线性扩展，从而支持基于这些标准的自动化数据质量监控。