数据治理——数据质量管理浅谈

什么是数据治理
数据治理在系统层面主要包括数据标准、元数据、数据质量、生命周期管理、数据安全、数据资产等模块；在管理层面需要通过数据治理组织、数据治理流程进行支撑保障。

企业数据治理项目的背景和目标
背景：从当前大多数企业现状调研发现，大量冗余数据散落在多个复杂的、毫无关联的信息孤岛中，使数据的业务过程缺少统一的数据框架、一致的数据规范，导致跨部门的合作的变得重复和紊乱，并进一步导致风险的显著提升和更为低劣的数据质量。
目标：支持企业数字化转型、支持企业运营合规、风险可控、价值创造以及运营创新等。

数据治理要素：数据治理准则、数据治理域、数据治理的实施方法论

数据治理内容包含太多，下面简单聊一下数据质量管理：

如何进行数据质量管理？有两条路径：一是发现问题+解决问题（事后管理）；二是预判问题+杜绝（事前管理）。

1、先介绍一下数据质量评估标准（完整性、一致性、准确性、及时性等）：
1).完整性：完整性是指数据信息是否存在缺失的情况，数据缺失可能是整个数据的缺失，也可能是数据中某个字段信息的缺失。数据完整性是数据质量最为基础的一项评估标准。一般可以通过数据统计中的记录值和唯一值进行评估。例如，统计地域分布情况时，每一个地区名就是一个唯一值，我国包括32个省和直辖市，如果统计得到的唯一值总数小于32，则可以判断数据有可能存在缺失。
2).一致性：一致性是指数据是否遵循了统一的规范，数据之间的逻辑关系是否正确和完整。规范是指一项数据存在它特定的格式，例如，手机号码一定是13位的数字，IP地址一定是由4个0~255间的数字加上“.”组成的。逻辑是指，多项数据间存在着固定的逻辑关系，例如百分率一定是在0~1之间的。
3).准确性：准确性是指数据中记录的信息和数据是否准确，数据记录的信息是否存在异常或错误。与一致性不同，存在准确性问题的数据不只是规则上的不一致。导致一致性问题的原因可能是数据记录的规则不一，但不一定存在错误；而准确性关注的是数据记录中存在的错误，如字符型数据的乱码现象就存在着准确性的问题，还有就是异常的数值：异常大或者异常小的数值、不符合有效性要求的数值等。
4).及时性：及时性是指数据从产生到可以查看的时间间隔，也称数据的延迟时长，是数据世界与客观世界的同步程度。数据的及时性主要与数据的同步和处理过程的效率相关。

2、再分析一下影响数据质量的因素主要来源（信息因素、技术因素、流程因素和管理因素）：
1).信息因素：产生这部分数据质量问题的原因主要有：元数据描述及理解错误、数据度量的各种性质（如：数据源规格不统一）得不到保证和变化频度不恰当等。
2).技术因素：主要是指由于具体数据处理的各技术环节的异常造成的数据质量问题。数据质量问题的产生环节主要包括数据创建、数据获取、数据传输、数据装载、数据使用、数据维护等方面的内容。
3).流程因素：是指由于系统作业流程和人工操作流程设置不当造成的数据质量问题，主要来源于系统数据的创建流程、传递流程、装载流程、使用流程、维护流程和稽核流程等各环节。
4).管理因素：是指由于人员素质及管理机制方面的原因造成的数据质量问题。如人员培训、人员管理、培训或者奖惩措施不当导致的管理缺失或者管理缺陷。

3、解决方案浅谈
1).事后管理：
通过数据质量评估标准，对目标数据进行质量问题发现，然后进行全链分析（血缘分析、影响分析），找到问题出现的环节及具体的原因。如果引入了专业的数据治理系统（工具），则可以按如下图所示流程推进，主要流程包括质量问题定义、检核监控、发现分析、跟踪反馈及知识库沉淀等（循环、持续）。

2).事前管理（包含但不限于）
第一：成立数据治理委员会（根据实际情况而定，或叫数据治理领导小组，自上而下，在管理线上能够大力支持）
第二：制定数据标准管理体系，例如：国标、行标、企业内部标准，各业务系统需要根据制定的标准，在业务系统建设时进行准确的落标动作。
第三：制定严格明确的规章制度，比如：数据库等系统运维流程（作业上线/下线流程、数据变更、数据备份（归档）/恢复、数据脱敏/加密、数据访问安全等）。
第四：业务数据开发落地的逻辑准确性（多轮测试、试运行等）。
第五：保障运行脚本（SQL）的健壮性。保障数据库、表及字段等的合理性创建和准确性设计。

小结：数据治理是一项长期且复杂的体系化工程，它需要通过一系列流程规范、制度、IT能力以及持续运营等机制来保障治理工作的持续推进。