首页 行业百科 数据质量管理方法有哪些?

数据质量管理方法有哪些?

|亿信华辰大数据知识库2022-07-13

数据质量管理方法有哪些?

数据的过程质量就是数据的使用过程符合标准规范,比如数据存储:数据是否被安全的存储到了合适的介质上,能够保证数据不受外来因素的破坏。当然数据存储只是数据使用过程的一个环节,除此之外还包括获取、传输、应用和删除等一系列的使用过程,这其实也是数据生命周期的各个阶段。

一、什么是数据质量管理?
1、数据质量
数据质量在业务环境下,数据符合数据消费者的使用目的,数据质量需要满足业务场景具体的需求。数据质量包含两个方面:数据的过程质量和数据自身的质量。
数据的过程质量就是数据的使用过程符合标准规范,比如数据存储:数据是否被安全的存储到了合适的介质上,能够保证数据不受外来因素的破坏。当然数据存储只是数据使用过程的一个环节,除此之外还包括获取、传输、应用和删除等一系列的使用过程,这其实也是数据生命周期的各个阶段。
数据自身的质量很好理解,比如数据必须真实准确地反映实际发生的业务,任何业务操作的数据都没有被遗漏,数据存在各种约束条件,这种约束条件不能自相矛盾等等。
2、数据质量管理
数据质量管理是指对数据从产生、获取、存储、共享、维护、应用等各个阶段可能引发的各类数据质量问题,进行识别、度量、监控、预警等一系列管理活动,并通过改善和提高组织的管理水平使数据质量获得进一步提高。


二、数据质量评估维度

1、规范性:数据是规范统一的。例如时间信息都以yyyy-mm-dd格式存储。
2、完整性:数据是完整不缺失的。例如人员信息完整涵盖性别、年龄等。
3、准确性:数据是准确合理的。例如年龄在合理范围内。
4、一致性:同源或跨源的数据是一致不冲突的。例如同一个人在不同源取过来的性别都是一致的。
5、关联性:数据的关联是不缺失的。例如两张表建立的关联关系存在,不丢失数据。
6、唯一性:数据是唯一不重复的。例如同一个ID没有重复记录。


三、数据质量影响因素

1、主观因素:在数据各环节处理中,由于人员素质低和管理缺陷等因素,从而操作不当而引起的数据质量问题。
2、客观因素:在数据各环节流转中,由于系统异常和流程设置不当等因素,从而引起的数据质量问题。


四、数据质量管理价值

建设一个完整的数据质量管理平台,对数据进行检核与统计,从制度、标准、监控、流程几个方面提升数据信息的管理能力,解决项目面临的数据标准问题、数据质量问题,为数据治理提供准确的数据信息。完成从发现数据问题到最后解决数据问题,不断提高数据质量,形成数据产生、数据交换、到数据应用过程中数据质量的统一管理与控制。


五、数据质量管理方法有哪些?

1、建立质量管控流程和规范
明确质量管控的角色、职责,建立可执行的工作流程、可量化的工作评估等关于数据质量管控办法,同时也应具备绩效考核、冲突解决与管控方式等。
2、执行管理工作
1)数据剖析
进行已知数据问题的评估,评估的范围控制在本轮管控的目标范围内。通过对数据进行剖析,发现数据问题,具体规则又可通过标准或业务调研进行提取。
2)设计数据质量控制操作程序
获得已知数据问题后,就应设计数据质量控制操作程序。主要包括制定质量问题评估方式和整改方式、制定质量报告内容及对象以及制定检查和监控的频率及方式。
3)定义数据质量需求
根据剖析的质检规则和控制操作程序,对数据质量需求进行定义。
4)确定数据质量水平
数据质量需求定义完毕之后,我们就需要确定在此需求下,目前数据质量的水平处于什么位置。明确反应质量水平的并最直观的就是错误数据的详情情况。
5)管理数据质量问题
问题找到后,针对根据不同的质量问题,进行不同的质量整改方案。比如:源头修改、补录、技术修复以及遗留问题管控等。
3、检查数据质量
首先确定整改质量,对处理后的数据进行再次质检,出具数据质量的报告;然后,对比处理前后效果,总结改进措施;最后,检查数据质量是否合格,分析不合格原因并下一轮管控中进行技术上或者操作程序上的改进。
4、监控数据质量,控制管理程序和绩效
根据既定的操作程序,对质量管控过程中各个环节参与者进行绩效评估。还可以根据不同时期的重点制定不同的评分标准,有针对性的进行评价和管控,如整改初期数据缺失严重,则可对完整性规则权重调大,以期更快看到成效或者达到更好的效果。
五、数据质量管理工具介绍
正所谓,工欲善其事,必先利其器。亿信华辰睿治数据治理平台的数据质量管理模块以全面质量管理PDCA循环管理方法为指导,充分结合国内数据质量管理工作的特点,运用元数据管理、数据挖掘、数据分析、工作流、评分卡、可视化等技术最终帮助企业和政府建立数据质量管理体系,全面提升数据的完整性、规范性、及时性、一致性、逻辑性等,降低数据管理成本,减少因数据不可靠导致的决策偏差和损失。
1、发现数据质量问题
灵活定义多模型质检方案,多点监测、多模型质检方案,高效调度,并发和串行处理相结合,性能高效,只需2分30秒,便可完成20条规则百万级数据的质量检查。
2、构建数据质量规则库
定义数据验证方法,内嵌空值检查、值域检查等13种检查规则,基本覆盖目前数据质量相关问题。
3、数据质量全流程管理
提供从标准定义、质量监控、绩效评估、质量分析、质量报告、重大问题及时告警、流程整改发起、系统管理等数据质量管理全过程的功能,不仅能发现问题、还能将问题分发给数据负责人、管理者,在线跟踪问题处理进展。
4、出具全面的“体检报告”
内置常规质检分析报告,实时可视化呈现质检结果,质检结果模型灵活扩展,充分利用了BI工具的分析展现能力,提供图文并茂的质量检查结果报告。
认为本内容有帮助
0
您可能需要的数据产品
亿信华辰助力政企数字化转型
customer

在线咨询