企业的
数据质量与业务绩效之间存在着直接联系,高质量的数据可以使公司保持竞争力并在经济动荡时期立于不败之地。有了普遍深入的数据质量,企业在任何时候都可以信任满足所有需求的所有数据。一个战略性和系统性的方法能帮助企业正确研究企业的数据质量项目,业务部门与 IT 部门的相关人员将各自具有明确角色和责任,配备正确的技术和工具,以应对数据诊断的挑战。
一、什么是数据
先了解什么是数据,数据是事实或观察的结果,是对客观事物的逻辑归纳,是用于表示客观事物的未经加工的的原始素材。数据可以是连续的值,比如声音、图像,称为模拟数据或者计量型数据。也可以是离散的,如符号、文字,称为数字数据或计数型数据。在计算机系统中,数据以二进制信息单元0,1的形式表示。
二、什么是数据质量
数据质量指数据的一组固有属性满足数据消费者要求的程度,高质量的数据应从组织、战略、运营、项目、质量管理、相关方角度等满足数据消费者的要求。总结起来,数据消费者对数据的需求有如下几个方面:
及时性 - 当需要时,数据获得且是及时更新的;
可得性 - 当需要数据时能够获取到;
安全性 - 数据是安全的,避免非授权的访问和操控;
正确性 - 数据是现实世界的真实反映;
完整性 - 数据是完整没有遗漏的;
可理解性 - 数据是可理解和解释的。
三、什么是数据质量管理
数据质量管理是指对数据从计划、获取、存储、共享、维护、应用、消亡生命周期的每个阶段里可能引发的各类数据质量问题,进行识别、度量、监控、预警等一系列管理活动,并通过改善和提高组织的管理水平使得数据质量获得进一步提高。
四、数据质量的重要性
现在很多大型企业已意识到数据信息和数据质量的重要性,专门成立了数据中心来管理数据方面的工作。数据信息是企业重要的战略资源,合理有效的使用正确的数据能指导企业领导作出正确的决策,提高企业的竞争力。不合理的使用低质量数据,可能导致决策的失败。
五、如何做好数据质量的管理工作
1、探查数据内容、结构和异常
一个关键目标就是明确指出数据错误和问题。通过探查数据以发现和评估数据的内容、结构和异常。识别数据的优势和弱势,帮助企业确定项目计划。
2、设计和实施数据质量业务规则
业务部门和IT部门需要明确企业的数据质量规则,管理如何清洗数据和解析用于支持目标应用字段和数据。一同设计、测试、完善和实施数据质量业务规则,以达成最好的结果。
3、将数据质量规则构建到数据集成过程中
建立集中管理、独立于应用程序并可重复使用的业务规则,执行探查、清洗、标准化、名称与地址匹配以及监测。
4、检查异常并完善规则
在执行数据质量流程后,大多数记录将会被清洗和标准化,并达到企业所设定的数据质量目标。然而,无可避免,仍会存在一些没有被清洗的劣质数据,此时则需要完善控制数据质量的业务规则。
5、对照目标,监测数据质量
数据质量控制是持续性的过程。相对目标和在整个业务应用中持续监测和管理数据质量对于保持和改进高水平的数据质量性能而言是至关重要的。