睿治

智能数据治理平台

睿治作为国内功能最全的数据治理产品之一,入选IDC企业数据治理实施部署指南。同时,在IDC发布的《中国数据治理市场份额,2022》报告中,蝉联数据治理解决方案市场份额第一。

数据质量问题管理实践

时间:2023-12-28来源:蹦擦擦浏览数:18

数据质量是数据管理的核心,只有高质量的数据才能为数据消费者应用,助力企业更好的使用数据来获得洞察力、做决策和服务业务。而企业许多直接的成本,也与质量问题相关,如错误数据驱动的错误业务决策造成损失、因缺乏良好信誉而导致业务损失等等。


然而,没有一个企业能拥有完美的业务流程、完美的技术流程或完美的数据管理实践,所有组织都会不可避免的遇到与数据质量相关的问题。因此,需要行之有效的问题管理措施,如进行数据质量问题处理、进行数据质量问题分析、进行数据质量问题验收等。


1数据质量改进方法论

PDCA循环是质量最常用的方法论中,又称戴明环,是全面质量管理的思想基础和方法依据。PDCA循环的含义是将质量管理分为四个阶段,即Plan(计划)、Do(执行)、Check(检查)和 Act(处理)。在质量管理活动中,要求把各项工作按照作出计划、计划实施、检查实施效果,然后将成功的纳入标准,不成功的留待下一循环去解决。

而处理阶段,就主要包括质量问题记录、分析、处理。找出影响质量问题的主要原因。并且针对主要原因,提出解决的措施并执行。而随着问题原因的评估和解决方案的提出,循环也将重新开始。


2数据质量问题产生的原因

数据质量问题在数据生命周期的任何节点都可能出现,原因多种多样。有如下常见原因:

(1)缺乏系统的数据管理和治理。如领导和员工缺乏质量意识、缺乏治理手段、缺乏领导力和管理能力、没有选择合适的质量工具;

(2)数据输入过程引起的问题。如数据输入接口问题、字段重载、业务流程的变更、业务流程执行混乱等;

(3)数据处理功能引起的问题。如没有定义正确的业务规则、变更数据结构等;

(4)系统设计引起的问题。如由于丢失的数据被分配为默认值而导致数据准确性、未执行唯一性约束、编码不准确等。


3数据质量问题管理两个典型场景

高质量的数据是为了满足业务的需求,而业务的规则是数据质量规则的重要输入,因此,需要业务人员与技术人员一起,承担起质量问题管理的责任。

场景一:由业务人员在使用数据时发现数据质量问题


场景二:现有数据质量规则定期监控发现问题


4数据质量问题管理工具实践

进行行之有效的数据质量问题管理和跟踪需要做到以下几点:

(1)标准化数据质量问题和活动。统一企业/组织内部描述数据问题的术语以及定义,以简化问题的分类,上下游人员沟通更加通畅。

(2)提供数据问题的分配过程。数据质量问题发生后,可以由数据治理专员分配给具体责任人或专家进行诊断,并提供解决方案,可下发给具有特定专业领域知识的人员推动问题解决。

(3)管理问题分级机制。数据质量问题处理能通过分级分类,区分问题影响,需要根据问题的影响、持续时间或紧急程度制定明确的升级机制,明确不同问题在数据质量SLA中的地位。

(4)管理数据质量解决方案工作流。制定数据质量SLA规范,规定监控、控制和解决的目标,所有这些定义了操作工作流的集合。能通过事件跟踪系统支持工作流管理,以跟踪问题诊断和解决的进度。

‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍

(部分内容来源网络,如有侵权请联系删除)
立即申请数据分析/数据治理产品免费试用 我要试用
customer

在线咨询