睿治

智能数据治理平台

睿治作为国内功能最全的数据治理产品之一,入选IDC企业数据治理实施部署指南。同时,在IDC发布的《中国数据治理市场份额,2022》报告中,蝉联数据治理解决方案市场份额第一。

数据治理|如何做好数据质量管理

时间:2022-03-21来源:小亿浏览数:227

监管数据质量非常重要,已上升至中央层面,其重要性不言而喻。
一、什么是数据质量管理

数据质量包含两个方面:数据自身的质量和数据使用过程标准规范。数据质量管理是一个集方法论、管理、技术和业务为一体,对数据在每个阶段里可能引发的各类数据质量问题进行识别、度量、监控、预警等一系列管理过程,并通过改善和提高组织的管理水平确保数据质量的提升。

二、数据质量问题来源
1、数据量过大:过大数据量会使数据消费者难以在合理的时间内获得所需的数据。
2、数据的多源性:当同一个数据有多个数据来源时,很可能会导致不同的值,这在系统设计和业务流程设计时都可能会引起这一问题。
3、计算资源有限:缺乏足够的计算资源会限制相关数据的可访问性。
4、数据生成过程中的主观判断:如果在数据的生成过程中包含主观判断结果,那么会导致数据中含有主观偏见因素。
5、安全性和可访问性之间的权衡:对数据消费者而言,必须能够访问高质量的数据;同时,出于保护隐私、保密和安全性的考量,必须对访问设置权限。因此,高质量的数据可访问性与数据的安全性之间就产生了冲突。

6、分布式异构系统:对于分布式、异构的数据系统,缺乏适当的整合机制会导致其内部出现数据定义、格式、规则和值的不一致性。跨系统的查询和汇总数据往往需要太多的时间,降低了数据的可访问性。

三、数据质量管理方法
1、建立质量管控流程和规范
明确质量管控的角色、职责,建立可执行的工作流程、可量化的工作评估等关于数据质量管控办法,同时也应具备绩效考核、冲突解决与管控方式等。
2、执行管理工作
1)数据剖析
进行已知数据问题的评估,评估的范围控制在本轮管控的目标范围内。通过对数据进行剖析,发现数据问题,具体规则又可通过标准或业务调研进行提取。
2)设计数据质量控制操作程序
获得已知数据问题后,就应设计数据质量控制操作程序。主要包括制定质量问题评估方式和整改方式、制定质量报告内容及对象以及制定检查和监控的频率及方式。
3)定义数据质量需求
根据剖析的质检规则和控制操作程序,对数据质量需求进行定义。
4)确定数据质量水平
数据质量需求定义完毕之后,我们就需要确定在此需求下,目前数据质量的水平处于什么位置。明确反应质量水平的并最直观的就是错误数据的详情情况。
5)管理数据质量问题
问题找到后,针对根据不同的质量问题,进行不同的质量整改方案。比如:源头修改、补录、技术修复以及遗留问题管控等。
3、检查数据质量
首先确定整改质量,对处理后的数据进行再次质检,出具数据质量的报告;然后,对比处理前后效果,总结改进措施;最后,检查数据质量是否合格,分析不合格原因并下一轮管控中进行技术上或者操作程序上的改进。
4、监控数据质量,控制管理程序和绩效
根据既定的操作程序,对质量管控过程中各个环节参与者进行绩效评估。还可以根据不同时期的重点制定不同的评分标准,有针对性的进行评价和管控,如整改初期数据缺失严重,则可对完整性规则权重调大,以期更快看到成效或者达到更好的效果。
四、小结
数据质量管控在数据治理体系中占据了十分重要的地位,是看见实质成效最快的一环,也是数据治理过程中的重要一环,亿信华辰睿治智能数据治理平台,是一款融合数据治理十大产品模块,覆盖数据全生命周期管理的应用平台,其中也包括了数据质量模块,可帮助政企有效提升数据质量,挖掘数据价值
(部分内容来源网络,如有侵权请联系删除)
立即申请数据分析/数据治理产品免费试用 我要试用
customer

在线咨询