在当今这个大数据时代,数据质量对于数据的价值有着至关重要的意义。它是数据有效影响业务并驱动业务发展的基础。对于企业级的数据治理项目,数据质量管理是其中重要的一环。
一、什么是数据质量管理
数据质量管理(Data Quality Management),是指对数据从计划、获取、存储、共享、维护、应用、消亡生命周期的每个阶段里可能引发的各类数据质量问题,进行识别、度量、监控、预警等一系列管理活动,并通过改善和提高组织的管理水平使得数据质量获得进一步提高。
二、为什么企业需要数据质量管理
企业开始意识到数据质量管理的重要性。推动数据质量需求的共同点有:将新数据源,尤其是非结构化数据与现有系统集成;利用所有可用的企业数据所需的财务投资和竞争压力:以及从数据所在的孤岛中提取数据的难度等。麻省理工学院斯隆进行的一项惊人研究指出,不良数据的处理成本可能高达总收入的 15-25%,且是长期的无用成本损耗。哈佛商学院发布一项研究显示,47% 的新创建数据记录至少包含一个严重错误。一个可靠的数据质量管理计划将确保数据的高度完整性,并且任何需要它的人都可以以安全和受监管的方式随时获得数据。数据质量管理就是找到正确的组合,让合适的人员按照正确的方法配备正确的工具。
三、数据质量七要素
1、数据完整性
数据完整性问题包括:模型设计不完整,例如:唯一性约束不完整、参照不完整;数据条目不完整,例如:数据记录丢失或不可用;数据属性不完整,例如:数据属性空值。不完整的数据所能借鉴的价值就会大大降低,也是数据质量问题最为基础和常见的一类问题。
2、数据一致性
多源数据的数据模型不一致,例如:命名不一致、数据结构不一致、约束规则不一致。数据实体不一致,例如:数据编码不一致、命名及含义不一致、分类层次不一致、生命周期不一致……。相同的数据有多个副本的情况下的数据不一致、数据内容冲突的问题。
3、数据及时性
数据的及时性(In-time)是指能否在需要的时候获到数据,数据的及时性与企业的数据处理速度及效率有直接的关系,是影响业务处理和管理效率的关键指标。
4、数据唯一性
用于识别和度量重复数据、冗余数据。重复数据是导致业务无法协同、流程无法追溯的重要因素,也是数据治理需要解决的最基本的数据问题。
5、数据真实性
数据必须真实准确的反映客观的实体存在或业务,真实可靠的原始统计数据是企业统计工作的灵魂,是一切管理工作的基础,是经营者进行正确经营决策必不可少的第一手资料。
6、数据准确性
准确性也叫可靠性,是用于分析和识别哪些是不准确的或无效的数据,不可靠的数据可能会导致严重的问题,会造成有缺陷的方法和糟糕的决策。
7、数据关联性
数据关联性问题是指存在数据关联的数据关系缺失或错误,例如:函数关系、相关系数、主外键关系、索引关系等。存在数据关联性问题,会直接影响数据分析的结果,进而影响管理决策。
四、数据质量管理方法
1、建立质量管控流程和规范
明确质量管控的角色、职责,建立可执行的工作流程、可量化的工作评估等关于数据质量管控办法,同时也应具备绩效考核、冲突解决与管控方式等。
2、执行管理工作
1)数据剖析
对数据进行剖析,发现数据问题,具体规则又可通过标准或业务调研进行提取。
2)设计数据质量控制操作程序
主要包括制定质量问题评估方式和整改方式、制定质量报告内容及对象以及制定检查和监控的频率及方式。
3)定义数据质量需求
根据剖析的质检规则和控制操作程序,对数据质量需求进行定义。
4)确定数据质量水平
数据质量需求定义完毕之后,我们就需要确定在此需求下,目前数据质量的水平处于什么位置。
5)管理数据质量问题
针对根据不同的质量问题,进行不同的质量整改方案。
3、检查数据质量
首先确定整改质量,对处理后的数据进行再次质检,出具数据质量的报告;然后,对比处理前后效果,总结改进措施;最后,检查数据质量是否合格,分析不合格原因并下一轮管控中进行技术上或者操作程序上的改进。
4、监控数据质量,控制管理程序和绩效
根据既定的操作程序,对质量管控过程中各个环节参与者进行绩效评估。还可以根据不同时期的重点制定不同的评分标准,有针对性的进行评价和管控。