数据质量是指数据对其期望目的的切合度，即从使用者的角度出发，数据满足用户使用要求的程度。 数据质量重点关注数据质量需求、数据质量检查、
数据质量分析和数据质量提升的实现能力，对数据从 计划、获取、存储、共享、维护、应用、消亡生命周期的每个阶段里可能引发的各类数据质量问题进行 识别、度量、监控、预警等一系列活动，并通过改善和提高组织的管理水平使得数据质量获得进一步提 高。
1 数据质量需求
1.1 概述
数据质量需求是指明确数据质量目标，根据业务需求及数据要求制定用来衡量数据质量的规则，包 括衡量数据质量的技术指标和衡量数据质量的业务指标以及相应指标的校验规则与方法。数据质量需求为度量和管理数据质量提供了一种途径，需要依据组织的数据管理目标，行业的监管需求以及参考相关 标准来统一制定、管理。
1.2 过程描述
数据质量需求是组织进行数据质量管理的基础活动，形成的数据质量规则应合理地反映数据质量元 素所要求的数据质量特性，从而对组织的数据进行统一的规范和管理。 数据质量需求过程域主要包含以下活动：
a) 识别数据质量业务需求并明确目标
基于组织所管理的数据资产内容明确数据质量管理的目 标，确定数据质量管理范围，包括业务方面、技术方面等，明确数据质量管理需求，从而明确 数据质量管理活动涉及的范围。
b) 设计并实施数据质量规则
依据组织的数据质量管理目标及数据质量管理需求，识别组织的数 据质量特性，确定被识别的数据质量特性对业务的影响，从而设计描述数据质量的关键维度， 定义数据质量指标、校验规则及方法，并根据业务发展需求及数据质量检查分析结果对数据质 量规则进行持续维护与更新。
1.3 建设目标
建设目标应包括以下内容：
a) 形成明确的数据质量管理目标
b) 建立持续更新的数据质量规则库
1.4 度量标准
度量标准应包含以下内容：
a) 级别 1：初始级
1) 在个别项目中存在偶然的数据质量需求行为；
b) 级别 2：受管理级
1) 在某些业务领域明确数据质量需求；
2) 设计满足本领域业务需求的数据质量规则。
3) 建立本领域的数据质量规则库
c) 级别 3：已定义级
1) 制定全组织数据质量目标，具有明确的数据质量需求；
2) 设计全组织统一的数据质量规则；
3) 建立全组织统一的数据质量规则库。
d) 级别 4：量化管理级
1) 定义并应用量化指标，衡量数据质量规则库运行有效性；
2) 持续改善优化数据质量规则库。
e) 级别 5：优化级
1) 成为行业最佳实践，参与相关标准规范的制定。
2 数据质量检查
2.1 概述
数据质量检查指结合数据质量规则中的有关技术指标和业务指标、校验规则及方法对组织的数据质 量情况进行动态、实时监控，从而获取数据质量问题，并向
数据质量监控人员进行告警、及时掌控数据 风险。
2.2 过程描述
数据质量检查是对源系统中数据进行检查，包括特定的批量检查和定期的持续检查，通过系统自动 或手动方式发现存在的数据质量问题的过程。 数据质量检查过程域主要包括以下活动：
a) 数据质量情况采集
根据组织数据质量管理需求，结合定义的数据质量指标，在数据源系统数 据处理的相关环节配置采集点，采集数据质量信息。数据质量情况采集到的信息作为后续数据 质量检查环节的输入，是数据质量检查的基础。
b) 数据质量规则校验
依据预先配置的规则、算法，对采集的数据进行规则校验，包括对源系统 关键表关键字段进行数据稽核，对关键指标进行对比，对数据实体、数据处理过程进行检查， 需要验证数据的差异性和波动性。数据质量规则验证可以采用一些简单的或复杂的统计与计算 方法进行。
c) 数据质量问题管理
对发现的数据质量问题进行管理，包括问题记录、问题查询、问题分发和 问题跟踪。在进行数据规则校验过程中发现数据质量问题可以产生告警即时推送给数据质量管 理人员转入问题管理，在进行数据质量评估或日常工作中发现数据质量问题也可以通过问题管 理进行记录。
2.3 建设目标
数据质量检查的建设目标如下：
a) 全面监控组织数据质量情况；
b) 建立数据质量检查持续改善措施。
2.4 度量标准
度量标准应包含以下内容：
a) 级别 1：初始级
1) 开展偶然的数据质量检查活动，基于出现的数据问题进行问题查找；
b) 级别 2：已定义级
1) 在某些业务领域按计划进行数据质量采集和校验；
2) 在某些业务领域按计划进行数据质量问题管理。
c) 级别 3：已定义级
1) 在全组织统一制定数据质量检查计划；
2) 在全组织统一执行数据质量的采集和校验；
3) 在全组织建立数据质量问题发现、告警机制和流程。
d) 级别 4：量化管理级
1) 定义并应用量化指标，衡量数据质量检查进行有效性；
2) 建立数据质量检查持续改善措施。
e) 级别 5：优化级
1) 成为行业最佳实践。
3 数据质量分析
3.1 概述
数据质量分析指根据数据质量需求对数据质量检查过程形成的数据质量问题及累积的各种信息进 行汇总，依据数据质量规则进行数据质量评估，确定影响数据质量的原因、并区分影响数据质量的级别， 以作为数据质量提升的参考和依据
3.2 过程描述
数据质量分析对数据质量问题进行原因分析、评估影响，并形成数据质量报告，主要包括如下内容：
a) 数据质量评估
针对数据质量异常进行审核，分析问题原因，评估数据质量异常对业务的影响， 以作为数据质量提升的参考和依据。
b) 数据质量报告
数据质量报告是对数据质量检查、分析等过程累积的各种信息进行汇总、梳理、 统计和分析，形成统计报告的过程。数据质量报告提供了一个集中数据质量的窗口，通过总结 经验、沉淀知识和改进方法以提高数据质量提升能力。
3.3 建设目标
数据质量分析的建设目标如下：
a) 全面分析组织数据质量情况；
b) 建立数据质量问题评估分析方法；
c) 建立持续更新的数据质量知识库。
3.4 度量标准
度量标准应包含以下内容：
a) 级别 1：初始级
1) 开展偶然的数据质量分析，基于出现的数据问题进行评估。
b) 级别 2：受管理级
1) 在某些业务领域建立数据质量问题评估分析方法，进行数据质量问题评估；
2) 在某些业务领域建立数据质量报告。
c) 基级别 3：已定义级
1) 在全组织建立数据质量问题评估分析方法，进行数据质量评估；
2) 在全组织定期发布数据质量报告；
3) 对产生的信息进行知识总结，建立数据质量知识库。
d) 级别 4：量化管理级
1) 定义并应用量化指标，衡量数据质量分析进行有效性；
2) 持续改善优化数据质量知识库。
e) 级别 5：优化级
1) 成为行业最佳实践。
4 数据质量提升
4.1 概述
数据质量提升是指结合数据质量管理目标确立数据质量改进目标，根据数据质量分析的结果制定、 实施数据质量改进方案，包括数据级和组织级的；并制定数据质量问题预防方案，以维护已改进的效果、 确保数据质量改进的成果得到有效保持。
4.2 过程描述
数据质量提升是改进数据质量问题、提升数据质量水平的过程，主要包括如下内容：
a) 数据质量校正
采用
数据标准化、
数据清洗、数据转换和数据整合等手段和技术，从数据中探 测并对不符合质量要求的脏数据进行处理，纠正数据质量问题的过程。具体包括参照数据质量 要求运用基于规则的标准化、范式化综合措施进行自动校正，使用自动化工具清洗校正、人工 审核，以及数据管理人员确定正确取值、人工校正三种方式。
b) 数据质量跟踪
数据质量跟踪记录数据质量事件的评估、初步诊断和后续行动等信息，可以帮 助数据管理人员监控在数据质量服务水平协议（SLA）范围内的相关活动，并证明数据质量提 升活动的有效性，以确保对数据质量持续可预测。
c) 改进策略
数据质量管理是一个持续的过程，应根据数据质量定义、数据质量检查、数据质量分析、数据质量提升的要求在数据需求、设计开发、数据运营和数据退役全生命周期过程中建立良好的数据质量持续提升策略，以确保数据满足组织中全部数据消费者的需求。
4.3 建设目标
数据质量提升的建设目标如下：
a) 达到组织数据质量要求；
b) 建立数据质量跟踪机制和流程；
c) 建立数据质量持续改进策略。
4.4 度量标准
度量标准应包含以下内容：
a) 级别 1：初始级
1) 开展偶然的数据质量提升，基于出现的数据问题进行数据质量校正。
b) 级别 2：受管理级
1) 在某些业务领域进行数据质量校正；
2) 建立数据质量跟踪记录；
3) 建立数据质量问题预防方案。
c) 级别 3：已定义级
1) 在全组织进行数据质量校正和跟踪；
2) 建立数据质量改进策略。
d) 级别 4：量化管理级
1) 定义并应用量化指标，衡量数据质量提升进行有效性；
2) 持续改善优化数据质量改进策略。
e) 级别 5：优化级
1) 成为行业最佳实践。
（部分内容来源网络，如有侵权请联系删除）
