首页 行业百科 数据质量管理有哪些策略?

数据质量管理有哪些策略?

|亿信华辰大数据知识库2023-06-26

数据质量管理有哪些策略?

随着信息技术的日益发展,数据作为我们生活和工作中不可或缺的一部分,已无处不在。而数据的质量直接影响着业务的稳定进行和企业的可持续发展。因此,保证数据质量对于企业是必不可少的。而如何提升数据质量,就需要运用数据质量管理领域中的各项能力项:数据质量需求、数据质量检查、数据质量分析和数据质量提升,并将其融入到企业的数据质量管理工作中。

随着信息技术的日益发展,数据作为我们生活和工作中不可或缺的一部分,已无处不在。而数据的质量直接影响着业务的稳定进行和企业的可持续发展。因此,保证数据质量对于企业是必不可少的。而如何提升数据质量,就需要运用数据质量管理领域中的各项能力项:数据质量需求、数据质量检查、数据质量分析和数据质量提升,并将其融入到企业的数据质量管理工作中。
国际数据管理协会的《数据管理知识手册》中规定,数据质量(DQ)是“既指与数据有关的特征,也指用于衡量或改进数据质量的过程。”数据从计划,获取,存储,共享,维护,应用以及它的整个生命周期的每个阶段里都可能引发的数据质量问题进行一些识别、度量、监控、预警等一系列的活动,并通过改善和提高组织的管理水平使数据质量得到一定的提升。
企业进行数据质量管理的目的是通过提升数据的完整性、准确性和真实性,为企业提供坚实、可靠的数据基础,提升数据的使用价值,对企业的日常经营、精准营销、管理决策、风险管理等领域发挥积极有效作用。


数据质量管理策略:
数据质量管理策略应该形成数据质量的事前预防机制、事中过程控制和事后监督控制,进行数据质量闭环管理。

1、事前预防控制
1)建立数据标准化模型(对每个数据元素的业务描述、数据结构、业务规则、采集规则等等进行清晰的定义,有了清晰的定义后就通过元数据进行管理数据可以被理解使用,以提高数据价值)
2)构建数据分类和编码体系(形成企业级的数据资源目录,在使用的时候就能清晰查找数据)


2、事中过程控制
1)强化源头数据质量:可以通过自动化校验或人工干预审核的方式进行管理,采用流程驱动的方式
2)控制过程数据质量:唯一性或及时性等等方面控制,入库是否及时,是否满足主外键要求,枚举字段是否正确等
3)数据预警机制:数据质量边界模糊的数据采用数据质量预警机制,就是对数据相似性和关联性指标的进行控制的一种方法,针对待管理的数据元素配置数据相似性算法或者数据关联性算法在数据新增变更,处理应用环节调用预先配置的数据质量的算法进行相似度和关联性分析,给出数据分析的结果来保障事中的质量控制。


3、事后监督控制
1)质量规则:对数据项配置响应的数据质量指标,进行比如包括:数据唯一性、准确性、完整性、一致性关联性、及时性等方面的数据治理的规则配置。
2)质量检验:对于配置好的数据规则,定义数据源检查任务,可设置手动执行或定期自动执行的系统任务,通过执行检查任务对数据进行检查,形成数据质量问题清单。
3)数据质量告警:根据质量检查质量问题清单进行数据告警
4)分析报告:根据质量检验的问题质量清单生成分析报告
5)流程优化:根据数据质量分析报告、指定数据质量控制改进方案。
6)监控过程里面可以进行评估和考核工作,定期对系统开展全面的评估:问题率、解决率、解决时效等方面建立评价指标,进行整改评估。根据整改优化的结果进行适当的绩效考核。最终在数据质量监控的过程中反复优化监控质量的步骤。
EsDataClean数据质量管理平台
亿信数据质量管理平台以数据标准为数据检核依据,以元数据为数据检核对象,通过向导化、可视化等简易操作手段,将质量评估、质量检核、质量整改与质量报告等工作环节进行流程整合,形成完整的数据质量管理闭环。
认为本内容有帮助
0
您可能需要的数据产品
亿信华辰助力政企数字化转型
customer

在线咨询