- 数据分析
- 数据治理
- 产品解决方案
- 行业解决方案
- 案例
- 数据资产入表
- 赋能中心
- 伙伴
- 关于
时间：2023-07-24来源：苦涩的记忆浏览数：139次
数据质量管理应该覆盖业务需求分析、数据质量评估、业务影响评估、原因分析、问题跟踪整改等各个方面，我们定义了一套 “定-测-析-改-控-评”的闭环管理机制，通过建立数据治理端到端的闭环管理机制，做到事前防范，事中控制，事后治理相结合，全面主动提升数据质量，从管理角度更好地支撑数据质量管理制度和流程的落地。
数据质量闭环管理
01、定规则通过定义数据质量维度指导数据质量检核，将数据标准注入以及日常业务运营确认检核范围，通常包括数据质量需求定义、质量检查方式定义、质量范围定义、检查计划定义。
根据不同目的，通常会有两种检查计划，一种是专项评估，一种是常规评估：
数据质量专项评估：以数据应用或针对已经发现的数据质量问题为切入点，如CRM建设、反洗钱报送，逐步开展重点系统的数据质量评估工作，推动源系统的数据质量提升，检核相关系统基础字段的数据质量。
数据质量常规评估：在源系统或数据管控平台中实现检核规则部署，对已知的数据质量问题进行周期性的监测，及时整改并提升数据质量。
02、测数据筛选确定测量数据，基于选定的数据确认检核规则，设计检核规则脚本，测量数据质量，通常包括选定测量数据、制定检核规则、编写检核脚本、执行检核并测算数据质量。
例如我们会针对数据质量需求或者质量问题定义一些业务规则，比如客户名称必须与法定证件上的名称一致，不应包含特殊符号如“？”“！”“*”等，技术人员将这条规则形成SQL代码，在核心系统的数据库中部署和执行，这时我们就可以得到核心系统客户名称不满足数据质量规则的问题数据集、数据条数、问题比率等信息。
03、析原因在这一步中，针对检核发现的各类数据质量问题，应评估数据质量问题的业务影响，确定原因，明确整改职责，分配问题归属部门。
在这一步中最为重要的是分析原因，明确职责。通常作为检核针对的数据资产项，我们在数据治理过程中梳理了归属责任部门，该部门应承担牵头问题整改的职责。但因为问题产生的源头和原因不一，我们应该通过分析，明确数据质量问题发生的环节和原因，再定位需要配合落实整改工作的部门或分支行。
数据质量归因分析鱼骨图
04、改问题针对问题，制定整改方案，纠正当前数据错误，预防未来数据错误，并进行事后评估。
源头输入问题：数据录入人员未按规范录入，需要相关责任部门强化录入规范，作为数据源头的分支机构配合改正错误数据，并在工作中落实规范。
加工环节问题：例如系统或手工处理中出现错误逻辑、断点等情况，需要相关责任部门给出正确加工逻辑，并由系统实施或手工处理数据的部门，进行加工逻辑或代码的修改。
使用环节问题：例如在业务中使用了错误数据项，需要相关责任部门明确数据含义、标准，给出应用场景等，确保数据使用符合当前需要。
05、控制量除了发现问题、解决问题，还需要在发现的数据质量问题中提炼出事前和事中控制方案，做到预防加检查结合的管理方式。
推动数据质量管理的前移，将数据质量检核落实在需求审核和系统开发阶段，明确数据需求及质量要求，在设计环节加强前台录入控制、逻辑检查、数据清洗等质量控制，建立和强化事前数据管控的能力，避免“先建设、后治理”。
06、评效果定期对企业的数据质量改进情况进行成效评估，有利于提升数据治理的成熟度，并为下一阶段的数据质量改进提供参考依据。包括但不限于通过检查或者考核的形式，由牵头部门组织相关部门和人员就数据质量问题、产生的原因、采取的措施、改进的结果进行交流，促进全行积极参与到数据质量改进中来，进一步巩固我们的数据文化。
数据质量管理不是一蹴而就的，需要对数据进行反复“打磨”，还要业务部门的深度参与，站在数据生产者和消费者的角度，为满足特定业务目标更好地进行数据质量需求定义，高效准确地提升数据质量，让数据成为推动业务高质量发展的有力支撑。
