睿治

智能数据治理平台

睿治作为国内功能最全的数据治理产品之一,入选IDC企业数据治理实施部署指南。同时,在IDC发布的《中国数据治理市场份额,2022》报告中,蝉联数据治理解决方案市场份额第一。

浅谈数据质量对企业管理的影响

时间:2020-10-21来源:知乎浏览数:667

今年上半年,企查查发误导信息判赔蚂蚁金服60万。这是公共数据和数据质量的判决第一案。

同样是今年,中国银行保险监督管理委员会因监管标准化数据(EAST)系统数据质量及数据报送存在违法违规行为对包括四大行在内的8家大型商业银行开出1970万元罚单。

越来越多的处罚案例,在提醒我们要重视数据治理,强调高质量的数据在发挥数据价值中的重要性。
是什么因素导致上面这些处罚呢?笔者认为这受两个因素的影响:一个是不注意的、人为所导致的;另一种因素,是因为企业没有能力和手段来对合规性进行监管,频频触礁,最后严重影响了企业声誉。由于缺乏数据质量管理会导致脏数据、重复数据、冗余数据、数据丢失、数据不一致、无法整合、责任缺失,糟糕用户体验等等低劣数据质量问题。然而这些问题其实是可以避免的,合理利用数据治理平台,则会让你打卡一个新天地。具体说来,就是需要对数据质量进行测量,而提升数据质量则需要数据质量检测系统。

工欲善其事,必先利其器。亿信数据质量管理平台(EsDataClean)提供从标准定义、质量监控、绩效评估、质量分析、质量报告、重大问题及时告警、流程整改发起、系统管理等数据质量管理全过程的功能。让企业能够一站式轻松搞定质检全过程,其内置质检规则已多达16种,灵活满足各种质检需求。以常见的几个质检维度来举例说明:

完整性(Completeness)
字段是否为空或NULL可使用空值检查,可以判断一个或多个字段是否非空。数据是否丢失可使用记录缺失检查,根据比照表字段检查目标字段是否缺少数据。

唯一性(Uniqueness)
检查数据是否唯一可使用重复数据检查。检查一张表内的重复数据,重复依据的定义不限于单一字段。若仅添加一个字段,将检查该字段内是否有重复数据;若添加了多个字段,将联合检查多个字段内是否有重复数据。

及时性(Timeliness)
检查数据填报是否在允许时间范围内可使用及时性检查。用来检查数据抽取、上报是否及时。

有效性(Validity)
检查数据是否符合其定义的语法(格式、类型、范围),场景包括不限于字段长度有效、字段内容有效、字段数据范围有效、枚举值个数有效、枚举值集合有效。这些场景下可使用值域检查、规范检查、波动检查、平衡性检查、离群值检查。

准确性(Accuracy)
数值同比波动监测、数值环比波动监测、表逻辑检查。可使用逻辑检查、值域检查、波动检查、平衡性检查。

一致性(Consistency)
检查数据项的多个数据是否一致,可使用引用完整性检查、数据集检查。

自定义(Customize)
支持用户自定义写质检规则,可使用SQL脚本检查、JAVA脚本、R脚本检查、Python脚本检查。

亿信数据质量管理平台(EsDataClean)从完整性、唯一性、及时性、有效性、准确性、一致性、自定义等几个维度对数据质量进行测量。通过图形化的界面,事先定义好的规则、调度时间、工作流程,自动完成数据的质量检查,极大的减少人力的投入和过程干预,提升效率,减少误差。对于数据质量的检测结果进行分析和量化,查找出现质量问题的数据链环节,定位数据问题,实行问责机制。

近年来越来越多的企业认识到了数据的重要性,数据仓库、大数据平台、数据中台的建设如雨后春笋。人们也越来越重视数据的管理和治理,而数据质量管理是数据治理的核心,因此,拥有一个优秀数据质量平台,能够改善整个企业的数据的一下问题,让它在协助我们企业在提升生产力方面、效能方面、合规管理方面等等之中发挥的重要作用。

亿信华辰旗下不光有数据治理管理平台,还有一整套的数据治理系统——睿治,可以有效帮助企业实现数据的有效治理,提高效率支撑决策。
(部分内容来源网络,如有侵权请联系删除)
立即申请数据分析/数据治理产品免费试用 我要试用
customer

在线咨询