首页 行业百科 什么是数据质量管理?数据质量管理方法

什么是数据质量管理?数据质量管理方法

|亿信华辰大数据知识库2022-12-27

什么是数据质量管理?数据质量管理方法

数据质量管理就是对数据从产生、获取、存储、共享、维护、应用等数据全生命周期的每个环节里可能引发的各类数据质量问题,进行识别、监控、预警、处理等一系列管理活动,并通过改善和提高管理水平使得数据质量获得进一步提高。

一、什么是数据质量管理
数据质量管理就是对数据从产生、获取、存储、共享、维护、应用等数据全生命周期的每个环节里可能引发的各类数据质量问题,进行识别、监控、预警、处理等一系列管理活动,并通过改善和提高管理水平使得数据质量获得进一步提高。数据质量管理的最终目的是通过提升数据的准确性、真实性以及完整性等,提升数据的使用价值,为企业提供坚实、可靠的数据基础,对企业的精准营销、日常经营、风险管理、管理决策等领域发挥积极有效作用。

二、数据质量评价原则

1、唯一性
唯一性主要包括主键唯一和候选键唯一。数据值被约束成一组独特的条目,每个值都是唯一的。
2、完整性
完整性主要包括属性不缺失、实体不缺失、字段值不缺失和记录不缺。即数据是充分的,任何有关操作的数据都没有被遗漏。
3、精确性
度量单位、计量误差等方面的精确度应符合业务需求。
4、准确性
数据必须真实准确的反映实际发生的业务;
5、及时性
数据更新、修改和提取等的快速性程度,应符合业务需求。
6、合规性
数据类型、格式、域值和业务规则应当有效。
7、一致性
数据值、数据结构以及他们的相互关系是否符合逻辑规则。包括统一存储、统一数据口径和统一数据来源。

三、数据质量问题出现的原因

1、技术类原因
技术实现上的某种缺陷,导致具体数据处理的各技术环节异常而造成数据质量的问题。
2、信息类原因
对数据的理解、度量标准及描述偏差而造成的数据质量问题。
3、管理类原因
管理机制及人员素质等方面造成的数据质量问题。
4、流程类原因
由于人工操作流程设置和系统作业流程不当造成的数据质量问题。

四、数据质量管理方法

1、数据质量监控
数据质量管理业务应在HG业务系统数据处理相关环节采集数据,供数据质量监控分析使用并存档。
2、数据资源变更管理
数据资源变更管理主要是利用元数据管理的分析功能对系统变更信息进行影响评估,并将变更信息及时告知数据质量管理相关部门,协同各部门完成数据资源变更处理工作,避免数据资源变更引起的系统内部和系统外部的数据质量问题。
3、告警管理
基于告警所反映的数据质量问题的影响范围与严重程度,设定不同的告警级别,根据告警级别不同,制定相应的处理策略。
4、数据质量分析
根据监控数据对象性质的不同,采用定量预警分析或多种定性方法进行数据质量评价。
5、数据质量问题处理
对数据质量管理环节中的各类问题进行分析,处理,归纳总结的过程(问题发现、问题分析、问题通告、问题解决指派、问题处理方法设计、审评、实施和问题总结)。
6、数据质量报告
数据质量报告是对数据资源监控、质量分析、质量评估、变更管理、问题处理等过程积累的各种信息进行统计汇总和梳理分析所形成统计报告,可以作为后续数据质量问题处理和分析的参照。
五、关于睿治数据质量管理平台
睿治EsDataClean数据质量管理平台,拥有科学的质量管理体系与领先业界的评价算法。一方面,以元数据为数据检核对象,以数据标准为数据检核依据,通过可视化、向导化等简易操作手段,将质量检核、质量评估、质量整改与质量报告等工作环节进行流程整合,形成完整的数据质量管理闭环。另一方面,EsDataClean支持十三种领先业界的规则评价算法,满足数据中心建设、数据治理过程及业务系统运行中各类规则定义。
认为本内容有帮助
0
您可能需要的数据产品
亿信华辰助力政企数字化转型
customer

在线咨询