数据质量管理流程

蒲公渶

2023-01-12

1、数据质量管理流程
数据质量管理是一个闭环管理流程，包括业务需求定义、数据质量测量、根本原因分析、实施改进方案、控制数据质量，如下图所示。

1、业务需求定义
笔者的一贯主张是：企业不会为了治理数据而治理数据，背后都是为了实现业务和管理的目标，而数据质量管理的目的就是更好地实现业务的期望。
第一将企业的业务目标对应到数据质量管理策略和计划中。
第二让业务人员深度参与甚至主导数据质量管理，作为数据主要用户的业务部门可以更好地定义数据质量参数。
第三将业务问题定义清楚，这样才能分析出数据数量问题的根本原因，进而制定出更合理的解决方案。

2、数据质量测量
数据质量测量是围绕业务需求设计数据评估维度和指标，利用数据质量管理工具完成对相关数据源的数据质量情况的评估，并根据测量结果归类数据问题、分析引起数据问题的原因。

第一数据质量测量以数据质量问题对业务的影响分析为指导，清晰定义出待测量数据的范围和优先级等重要参数。

第二采用自上而下和自下而上相结合的策略识别数据中的异常问题。自上而下的方法是以业务目标为出发点，对待测量的数据源进行评估和衡量；自下而上的方法是基于数据概要分析，识别数据源问题并将其映射到对业务目标的潜在影响上。

第三形成数据治理评估报告，通过该报告清楚列出数据质量的测量结果。

3、根本原因分析
产生数据质量问题的原因有很多，但是有些原因仅是表象，并不是根本原因。要做好数据质量管理，应抓住影响数据质量的关键因素，设置质量管理点或质量控制点，从数据的源头抓起，从根本上解决数据质量问题。

4、实施改进方案
没有一种通用的方案来保证企业每个业务每类数据的准确性和完整性。企业需要结合产生数据问题的根本原因以及数据对业务的影响程度，来定义数据质量规则和数据质量指标，形成一个符合企业业务需求的、独一无二的数据质量改进方案，并立即付诸行动。

5、控制数据质量
数据质量控制是在企业的数据环境中设置一道数据质量“防火墙”，以预防不良数据的产生。数据质量“防火墙”就是根据数据问题的根因分析和问题处理策略，在发生数据问题的入口设置的数据问题测量和监控程序，在数据环境的源头或者上游进行的数据问题防治，从而避免不良数据向下游传播并污染后续的存储，进而影响业务。