数据质量管理策略之事前预防

事前预防即防患于未然，是数据质量管理的上上之策。数据质量管理的事前预防可以从组织人员、标准规范、制度流程三个方面入手。

一、加强组织建设
企业需要建立一种文化，以让更多的人认识到数据质量的重要性，这离不开组织机制的保障。建立数据质量管理的组织体系，明确角色职责并为每个角色配置适当技能的人员，以及加强对相关人员的培训和培养，这是保证数据质量的有效方式。

1、组织角色设置
企业在实施数据质量管理时，应考虑在数据治理整体的组织框架下设置相关的数据质量管理角色，并确定他们在数据质量管理中的职责分工。常见的组织角色及其职责如下。
●数据治理委员会：为数据质量定下基调，制定有关数据基础架构和流程的决策。数据治理委员会定期开会以新的数据质量目标，推动测量并分析各个业务部门内数据质量的状态。
● 数据分析师：负责数据问题的根因分析，以便为数据质量解决方案的制定提供决策依据。
● 数据管理员：负责将数据作为公司资产进行管理，保障数据质量，例如定期数据清理、删除重复数据或解决其他数据问题。

2、加强人员培训
数据不准确的主要原因是人为因素，加强对相关人员的培训，提升人员的数据质量意识，能够有效减少数据质量问题的发生。
数据质量管理培训是一个双赢的过程。
对于员工来说，通过培训，自己不仅能够认识到数据质量对业务和管理的重要性，还能学习到数据管理理论、技术、工具等知识和技能，确保上游业务人员知道他们的数据对下游业务和应用程序的影响，让自己在工作中尽可能不犯错、少犯错，提高自己的业务处理效率和质量。
对于企业来说，通过培训，可以使数据标准得到宣贯，提升员工的数据思维和对数据的认识水平，建立起企业的数据文化，以支撑企业数据治理的长治久安。
此外，企业应鼓励员工参加专业资格认证的培训，这样能够让相关人员更加系统性地学习数据治理知识体系，提升数据管理的专业能力。

二、落实数据标准
数据标准的有效执行和落地是数据质量管理的必要条件。数据标准包括数据模型标准、主数据和参考数据标准、指标数据标准等。

1、数据模型标准
数据模型标准数对数据模型中的业务定义、业务规则、数据关系、数据质量规则等进行统一定义，以及通过元数据管理工具对这些标准和规则进行统一管理。在数据质量管理过程中，可以将这些标准映射到业务流程中，并将数据标准作为数据质量评估的依据，实现数据质量的稽查核验，使得数据的质量校验有据可依，有法可循。

2、主数据和参考数据标准
主数据和参考数据标准包含主数据和参考数据的分类标准、编码标准、模型标准，它们是主数据和参考数据在各部门、各业务系统之间进行共享的保障。如果主数据和参考数据标准无法有效执行，就会严重影响主数据的质量，带来主数据的不一致、不完整、不唯一等问题，进而影响业务协同和决策支持。

3、指标数据标准
指标数据是在业务数据基础上按照一定业务规则加工汇总的数据，指标数据标准主要涵盖业务属性、技术属性、管理属性三个方面。指标数据标准统一了分析指标的统计口径、统计维度、计算方法的基础，不仅是各业务部门共识的基础，也是数据仓库、BI 项目的主要建设内容，为数据仓库的数据质量稽查提供依据。

三、制度流程保障
1、数据质量管理流程
数据质量管理是一个闭环管理流程，包括业务需求定义、数据质量测量、根本原因分析、实施改进方案、控制数据质量，如下图所示。

1、业务需求定义
笔者的一贯主张是：企业不会为了治理数据而治理数据，背后都是为了实现业务和管理的目标，而数据质量管理的目的就是更好地实现业务的期望。
第一将企业的业务目标对应到数据质量管理策略和计划中。
第二让业务人员深度参与甚至主导数据质量管理，作为数据主要用户的业务部门可以更好地定义数据质量参数。
第三将业务问题定义清楚，这样才能分析出数据数量问题的根本原因，进而制定出更合理的解决方案。

2、数据质量测量
数据质量测量是围绕业务需求设计数据评估维度和指标，利用数据质量管理工具完成对相关数据源的数据质量情况的评估，并根据测量结果归类数据问题、分析引起数据问题的原因。

第一数据质量测量以数据质量问题对业务的影响分析为指导，清晰定义出待测量数据的范围和优先级等重要参数。

第二采用自上而下和自下而上相结合的策略识别数据中的异常问题。自上而下的方法是以业务目标为出发点，对待测量的数据源进行评估和衡量；自下而上的方法是基于数据概要分析，识别数据源问题并将其映射到对业务目标的潜在影响上。

第三形成数据治理评估报告，通过该报告清楚列出数据质量的测量结果。

3、根本原因分析
产生数据质量问题的原因有很多，但是有些原因仅是表象，并不是根本原因。要做好数据质量管理，应抓住影响数据质量的关键因素，设置质量管理点或质量控制点，从数据的源头抓起，从根本上解决数据质量问题。

4、实施改进方案
没有一种通用的方案来保证企业每个业务每类数据的准确性和完整性。企业需要结合产生数据问题的根本原因以及数据对业务的影响程度，来定义数据质量规则和数据质量指标，形成一个符合企业业务需求的、独一无二的数据质量改进方案，并立即付诸行动。

5、控制数据质量
数据质量控制是在企业的数据环境中设置一道数据质量“防火墙”，以预防不良数据的产生。数据质量“防火墙”就是根据数据问题的根因分析和问题处理策略，在发生数据问题的入口设置的数据问题测量和监控程序，在数据环境的源头或者上游进行的数据问题防治，从而避免不良数据向下游传播并污染后续的存储，进而影响业务。