亿信华辰

睿治-智能数据治理平台

荣获DAMA中国数据治理优秀产品奖

首页亿信动态行业资讯数据治理

数据质量管理,是数据价值的生命线

时间:2022-06-24来源:小亿浏览数:98

随着组织不断发展壮大,组织内部数据量剧增,数据系统存在大量无效冗余旧数据,错误数据,残缺数据的情况,影响后续数据处理分析,使管理层决策失误。问题数据频繁出现的背后,是组织数据质量管理不善导致的。

数据质量是数据的生命线,没有高质量的数据,一切数据分析、数据挖掘、数据应用基于错误数据,数据价值会大打折扣,甚至出现完全错误的结论,浪费组织大量时间和精力,得不偿失。

本篇文章,小亿就带大家系统了解组织数据质量管理的概念、4种常见低数据质量情况、3大影响因素、6大评价维度以及实施落地6大步骤。

01、什么是数据质量管理

1.数据质量的概念

既然要进行数据质量管理,我们首先要理解,什么是数据质量。数据质量,指的是在组织业务,管理要求下,符合数据使用者满足业务,管理需求的评价方式。注意,数据质量是一种评价方式,就像我们评价一个电脑是否优质,要看外观,材质,工作性能等。
对于组织来说,只要对业务管理有价值的数据,都是高质量的数据。比如一个超市的销售数据,管理者知道某种产品大卖,开始增加库存,产生更多业绩。这个销售数据辅助管理者决策,让超市盈利更多,对组织业务和管理有价值,于是属于质量高的数据。
同理,如果一些数据不能满足某些组织的业务和管理需求,这就是质量低的数据。比如一家公司邀请用户填写调查问卷,但问卷答案是用户乱填的,这些错误数据无法反映用户,市场真实意图,对企业了解市场没什么益处,还会导致管理者做出错误决策,这就属于质量低的数据。

2.数据质量管理的概念

我们明白数据质量的概念,知道高质量数据是发挥数据价值的基础,企业需要对数据质量管理有足够重视。

什么是数据质量管理呢?根据国际数据治理协会DAMA官方定义,数据质量管理是对数据从计划、获取、共享、维护、应用、消亡生命周期的每个阶段里可能引发的各类数据质量问题,进行识别、度量、监控、预警等一系列管理活动,并通过改善和提高组织的管理水平使得数据质量获得进一步提高。

数据质量管理是循环管理过程,其终极目标是通过可靠的数据提升数据在使用中的价值,并最终为企业赢得经济效益。

简单理解,我们就是要对数据进行清洗,整理,分类,监控等一系列管理,提高数据的质量,减少数据库里面的无效数据,旧数据,残缺数据,错误数据等情况。

3.4种常见低质量数据情况

在组织数据库中,主要有4种常见低质量数据情况,分别是重要数据缺失,数据异常,数据不一致,数据重复或错误,它们是拉低数据库数据质量的元凶。

(1)重要数据缺失
第一种情况是数据缺失,它指的是一些表格,业务中,缺少的一些重要数据未被填充。
比如在CRM系统中,很多客户的手机号信息没有被获取,企业无法用短信电话触发用户,实现营销效果,导致整个CRM数据质量不高。

缺失数据产生原因主要有3个:
①有些信息暂时无法获取,或者获取信息的代价太大。比如用户的手机号信息,身份证,银行卡信息,暂时无法获取
②信息在采集输入中遗漏。比如系统故障,导致大量数据无法输入
③属性值不存在。比如CRM系统中,需要填写用户的微信号联系方式,但是系统未设置,导致数据缺失,影响业务发展。

数据缺失,会导致大量有价值信息未被采集,或者被丢失,说明企业收集信息,数据处理系统,数据模型方面均有欠缺。
针对缺失数据,企业可以通过简单统计分析,找到未填写数据,相关属性,对可能值进行插补填充。

(2)数据异常
第二种情况是数据异常,指的是数据与平时的业务,管理数据有很大差别,影响数据分析得出的结论。
异常数据产生的原因,最主要是数据输入错误。比如超市中,奶粉的一周的消费数量是100罐,但是最近数据系统显示一周销售数量是1000,2000,或者消费数量为1,2罐,数量波动太大,导致超市出现进货过多过少情况,影响业务发展。
针对异常数据,需要用之前数据作为基础,确定最大值和最小值,判断数据变量是否超出合理的范围,如果数据异常,系统会自动报警提醒。

(3)数据不一致
第三种情况是数据不一致,指的是在数据集成汇总的时候,多个系统分布的相同数据,出现不一致的现象。
比如一个用户,在同一银行的2个网点,均办理过业务,两个系统都存储记录过用户电话号码,但后续用户号码变更,上传总系统时,两个网点提供用户信息不一致。
不一致数据,导致银行在营销活动群发短信无法正确触达用户,影响业务发展。
针对不一致的数据,企业系统可以注意数据抽取的规则,对于大部分相同但不一致的数据,进行鉴别,修改,合并。

(4)数据重复或错误
最后一种情况,就是重复/错误数据,指的是一些数据出现重复统计,数据填写错误。
比如企业用问卷收集用户信息,很多时候用户录入数据多次保存,导致重复数据屡次录入,还有部分用户乱填问卷信息,导致数据错误的情况,
这样就导致统计结果不准确,容易做出错误决策。针对重复数据,企业可以在系统中设置过滤限定条件,清除重复数据。

3.影响数据质量3大因素

在数据日常输入,存储,管理,使用的过程中,出现数据缺失,数据异常,数据不一致,数据重复或错误情况,主要是业务,技术,管理3大方面导致的。

(1)业务影响
有时候,数据质量问题是业务引起的。很多业务部门没有统一标准,数据口径,双方理解困难,导致数据名称,单位错误各种问题。
针对业务数据问题,企业需要根据具体的业务目标,业务场景,来制定数据质量改进方案。

通常业务数据,有3个常见问题:
①业务需求不清晰。比如数据的业务描述,业务规则不清晰,有的业务部门把消费金额超过1万的划分为vip客户,有的把消费5万划分为vip客户,导致数据混乱。
②业务数据输入不规范。常见的业务数据输入,包括大小写,特殊符号输入问题错误,导致不规范数据频繁存在。
③虚假数据。很多时候业务数据输入,没有专人审核校对,产生假数据情况。

(2)技术影响
技术问题引起的数据质量偏低,也是很常见的。技术方面,主要指的是数据从收集,存储,功处理等过程出现问题。
技术常见有5大数据问题:
①数据源质量问题。比如很多生产数据是通过生产端采集,在生产端就存在重复,不完整,不准确的数据情况,采集过程中,没有对数据进行清洗和处理
数据采集过程质量问题。不同的采集点,采集时间,采集频率等设置不正确,也会导致采集的数据不准确,拉低数据质量
③数据传输过程质量问题。在数据传输过程中,数据接口问题,接口参数配置错误,网络波动等,都会造成传输过程中数据遗失,出现质量问题
④数据装载过程问题。比如数据清洗的规则,数据转换规则,数据装载规则配置问题等
数据存储问题。数据存储设计不合理,存储能力有限,导致人为调整数据,引起的数据丢失,数据记录重复等问题

(3)管理影响
很多数据,因为管理手段,流程不完善,也容易导致数据质量偏低的问题。
常见有5大管理问题:
①对数据质量问题不够重视。组织高层对数据质量不够重视,没有重点宣传,导致数据管理不上心,存在大量低质量数据。
②没有数据治理组织,缺乏数据追责机制。出现问题,找不到负责人,数据质量管理无法推进
③缺乏数据规划。没有明确的确保数据质量目标,没有相关的流程和管理制度
④数据输入规范不统一。不同的业务部门,不同时间处理相同业务的时候,由于数据输入规范不同,造成数据冲突或矛盾
⑤缺乏有效的数据监控机制。历史数据的检核,新增数据的审核,没有明确和有效的控制措施,出现数据质量问题无法考核。
总得来说,影响数据质量的因素,可以总结为2类:一类是主观因素,一类是客观因素。
主观因素,指的是数据各环节处理中,由于人为的疏忽或者管理缺陷等,导致数据错误,数据遗漏,数据丢失的情况。客观因素,指的是在数据流通的各个环节,由于系统异常或者流程设置不当,引起的数据质量问题。

02、数据质量评判6大维度

数据质量管理既然这么重要,那么什么样的数据才算高质量数据呢?国际数据治理协会DAMA制定了数据质量评判的6大维度,分别是完整性,一致性,准确性,时效性,唯一性和可访问性,只要数据满足这6大属性,都属于高质量数据。

1.完整性

完整性,指的是数据记录的信息是否完整,是否存在缺陷的情况。数据残缺主要包括记录的残缺和重要字段信息的残缺,这两种情况都会造成统计结果不准确。比如CRM系统中,用户联系方式手机号未填写,就是记录缺失;如果手机号记录缺少1位数字,就是信息残缺。

2.一致性

一致性,指的是数据在数据仓库的不同系统中,要保证数据的一致性。比如一个用户在电商平台下单购物,那么用户数据系统,仓库发货系统,财务系统的各个节点,都需要保证用户ID保持一致。一个银行用户,在不同银行网点办理业务,用户数据信息需要保持一致性。

3.准确性

准确性,指的是数据记录的信息和数据是否准确,是否存在异常,或者错误的信息。比如银行的用户信息数据,用户的姓名,身份证号,地址,联系电话,都需要保证准确,不能出现有错误的情况。

4.时效性

第4个是时效性,指的是数据的时间和效果需要保证,有效及时的数据,才能发挥价值。比如当公司网络系统出现故障,运维人员需要希望立刻拿到实时关键的运行日志数据,方便快速排查解决问题。如果数据陈旧,与出现的问题距离时间太长,那么就属于无效数据。

5.合规性

合规性,指的是数据的值,格式和展现形式,必须符合数据定义和业务定义的要求。比如销售系统中,货款规定的单位是千,我们就不能使用万,保证所有的数据都符合数据标准规范。

6.可访问性

可访问性,指的是给用户想要使用这些数据的时候,能有访问权限。企业的数据管理平台,需要提供统一的数据资源目录,来告诉使用者企业有哪些数据?存放在哪里?以及如何访问到这些数据。比如我们去银行自助服务机中办理业务,可以查询我们的个人信息,银行流水等数据,这些都是表明数据要有可访问性。毕竟能被使用的数据,才是有价值的数据。

03、数据质量管理实施6部曲

前面的文章内容,我们已经知道高质量的数据是企业使用数据,挖掘数据的前提,没有高质量的数据,后面的数据分析,数据辅助业务和管理,都会变成无稽之谈。

那么企业应该如何把数据质量管理落实推进下去呢?主要有6个步骤:      

1.确定目标和范围

第一步,就是组织要确认数据治理的目标和范围,要达到什么样的程度,满足什么要求,确定大的方向,哪些范围内的数据需要提高数据质量。比如一个银行,需要开展数据质量管理项目,确定的目标是应对监管,业务的要求,那么治理的数据质量范围,就在监管要求的数据,业务相关重要的数据即可。

2.数据质量调研

把治理目标和范围确定以后,第二步,就是组织要对内部数据质量进行调研。数据质量调研是数据质量管理的基础,通过调研,收集组织内部常见数据质量问题,形成数据问题库,然后根据数据重要影响程度排序,为后续的数据质量提升提供参考。

一般情况下,进行数据质量调研,我们要关注3个点:
①调研企业系统质量情况。用调研表的方式,与业务人员,技术人员进行数据在业务使用中的情况,数据问题分布进行了解。
②分析数据质量问题。把问题收集后,用影响范围,层级,类型来分析拆解,对质量问题进行优先级排序
③制定数据质量提升范围。根据项目目标,数据问题优先级,来确定哪些数据质量需要提升。

3.设定数据质量管理角色,流程和制度

把问题找出后,第三步我们需要制定合适的数据质量管理角色,流程和制度。组织需要明确数据质量管理角色,划分出单独的组织架构,落实追责,才能保障数据质量提升能落实落地。

一般情况下,数据治理组织架构主要有4个角色:
①数据治理管控委员会,主要职责是负责数据治理项目,组织协调推进项目实施监督和落地,该部门职位为组织领导层担任。

②数据质量管理岗,主要负责协调和管理数据质量工作,负责组织,推动数据质量相关工作的开展,该部门职位为IT部门领导担任。
③业务部门成员,主要是数据的生产者和使用者,负责从业务层面参与到数据管理工作,设置数据质量管理专员,发现质量问题并提出改进建议,该部门主要为各业务部门成员担任。
④科技部开发中心,主要是通过技术层面参与数据质量管理工作,该部门职位主要由IT部门技术人员担任。
数据质量管理流程,主要分业务流程和技术流程,业务人员平时如何发现数据质量问题,如何上报,如何提交问题的流程,技术流程,包括数据质量提升,数据修改等流程。数据质量管理制度,从制度上确定相关的原则和政策,确保数据治理提升项目有序进行。数据质量管理制度,主要有《数据质量管理制度》《数据质量考核办法》《数据质量提升策略》。

4.数据质量规则制定

把组织架构,管理流程,管理制度从宏观层面确定之后,第四步就是具体的实施落地阶段,首先组织需要制定出明确的数据质量规则,告诉组织内成员,什么能做,什么不能做,遇到不同问题如何处理。

通常,组织数据质量规则的制定,需要考虑4个方面:
①已有的数据标准。很多企业原先有一定的数据标准,但是随着组织发展,标准慢慢开始不适应,这个时候企业可以根据已有的数据治理规则,作为重要参考依据
②监管要求,行业规范。很多组织比如银行,政务,电力都有监管要求,行业标准,这个时候监管要求和行业规范,也是参考的重要依据。
③调研的数据质量问题。通过之前数据质量调研中发现的问题,并且进行影响程度排序,重要的问题也是制定数据质量规则的重要依据。
④业务需求。组织内部各业务部门对于数据质量也是拥有一定要求,可以根据内部的业务需求,来制定数据质量规则。

5.数据质量平台建设

制定好数据质量规则之后,第五步,组织需要把相关的规则,流程录入到相应的数据质量管理系统之中。
     
以亿信华辰数据治理产品睿治为例,睿治使用流程主要是4个步骤:
第一步,录入数据质量规则。把制定好的数据质量规则,录入到系统里
第二步,建立质量检查方案。企业根据自己的需求,建立相关的质量检测方案
第三步,执行质检方案。企业根据质检方案,对整个数据进行检核
第四步,数据质量报告。根据制定的规则,检核所有数据,睿治系统会自动生成一份数据治理报告,告诉管理人员数据质量情况

6.数据质量运营持续提升

数据治理系统设置好后,最后一步就是组织要通过建立长效的质量管理机制,持续提升内部数据质量。

数据质量持续提升,主要分为4个步骤:
①全面收集与发现数据问题,形成数据质量问题收集常态机制。平时的业务,技术,管理问题,需要建立相关问题收集,反馈机制。
②优化数据问题分析方法,找到问题根本原因。根据问题影响程度,进行量化分析,从管理流程,数据认责及操作规范方面识别根本原因,根据问题严重性进行优先级排序。
③根据业务流程需要,制定合适的数据问题解决方案。根据方案,及时跟踪问题解决情况,定期发布数据质量报告。
④建立数据质量考核机制,进行数据质量监管常态化运转。组织要定时定期对数据质量进行跟踪验证,提高数据质量提升速度,毕竟数据质量的提升是一个长期的过程。

04、智能数据治理平台—睿治

数据质量的高低,是数据价值的体现,没有高质量的数据,那么数据价值的挖掘,数据对于企业的监管,管理,业务的帮助,将会是无稽之谈。

睿治是亿信华辰自主研发的数据全生命周期的数据治理平台,它融合数据集成,数据交换,实时计算存储,元数据管理,数据标准管理,数据质量管理,主数据管理,数据资产管理,数据安全管理,数据生命周期管理十大产品模块,打通数据治理各个环节,可快速满足政府,企业用户各类不同的数据治理场景。

睿治平台中的数据质量管理功能,内置13种行业数据质量的监控规则,都有完整成熟的解决方案,功能点包括:数据质量监控,规则模板管理,财务数据质检,客户之间,日志监控,数据质检报告等。

通过数据质量的监控功能,可以发现问题,然后推给技术和业务人员,进行整改,睿治系统可以自动生成数据质检报告,定期让管理人员,使用人员看到数据质量的提升管理效果。

质量检查方案规则定义
(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 申请试用

预约演示

您好,商务咨询请联系

咨询热线:400-0011-866