如何做好数据质量管理？

数据问题的来源可能产生于从数据源头到数据存储介质的各个环节。在数据采集阶段，数据的真实性、准确性、完整性、时效性都会影响数据质量。除此之外，数据的加工、存储过程都有可能涉及对原始数据的修改，从而引发数据的质量问题。所以，技术、流程、管理等多方面的因素都有可能会影响到数据质量。

数据问题的来源可能产生于从数据源头到数据存储介质的各个环节。在数据采集阶段，数据的真实性、准确性、完整性、时效性都会影响数据质量。除此之外，数据的加工、存储过程都有可能涉及对原始数据的修改，从而引发数据的质量问题。所以，技术、流程、管理等多方面的因素都有可能会影响到数据质量。
一、数据质量与数据质量管理
1、数据质量
数据质量在业务环境下，数据符合数据消费者的使用目的，数据质量需要满足业务场景具体的需求。数据质量包含两个方面：数据自身的质量和数据的过程质量。
数据自身的质量很好理解，比如数据必须真实准确地反映实际发生的业务，任何业务操作的数据都没有被遗漏，数据存在各种约束条件，这种约束条件不能自相矛盾等等。
数据的过程质量就是数据的使用过程符合标准规范，比如数据存储：数据是否被安全的存储到了合适的介质上，能够保证数据不受外来因素的破坏。当然数据存储只是数据使用过程的一个环节，除此之外还包括获取、传输、应用和删除等一系列的使用过程，这其实也是数据生命周期的各个阶段。
2、数据质量管理
数据质量管理指对数据在每个阶段里可能引发的各类数据质量问题进行识别、度量、监控、预警等一系列管理活动，并通过改善和提高组织的管理水平确保数据质量的提升。
换句话说，数据质量管理是一个集方法论、管理、技术和业务为一体的解决方案，不是一时的数据治理方法，是一个不断循环的管理过程。一方面反映出企业数据很难一次性就达到使用的标准规范，毕竟数据治理是一个相对漫长的过程；另一方面也反映出数据质量的重要性以及数据质量工作的零散性和琐碎性。
二、企业数据质量问题
1、数据准确性：准确性也叫可靠性，是用于分析和识别哪些是不准确的或无效的数据，不可靠的数据可能会导致严重的问题，会造成有缺陷的方法和糟糕的决策。
2、数据真实性：数据必须真实准确的反映客观的实体存在或真实的业务，真实可靠的原始统计数据是企业统计工作的灵魂，是一切管理工作的基础，是经营者进行正确经营决策必不可少的第一手资料。
3、数据完整性：数据完整性问题包括：模型设计不完整，例如：唯一性约束不完整、参照不完整;数据条目不完整，例如：数据记录丢失或不可用;数据属性不完整，例如：数据属性空值。不完整的数据所能借鉴的价值就会大大降低，也是数据质量问题最为基础和常见的一类问题。
4、数据唯一性：用于识别和度量重复数据、冗余数据。重复数据是导致业务无法协同、流程无法追溯的重要因素，也是数据治理需要解决的最基本的数据问题。
5、数据关联性：数据关联性问题是指存在数据关联的数据关系缺失或错误，例如：函数关系、相关系数、主外键关系、索引关系等。存在数据关联性问题，会直接影响数据分析的结果，进而影响管理决策。
6、数据及时性：数据的及时性(In-time)是指能否在需要的时候获到数据，数据的及时性与企业的数据处理速度及效率有直接的关系，是影响业务处理和管理效率的关键指标。
7、数据一致性：多源数据的数据模型不一致，例如：命名不一致、数据结构不一致、约束规则不一致。数据实体不一致，例如：数据编码不一致、命名及含义不一致、分类层次不一致、生命周期不一致……。相同的数据有多个副本的情况下的数据不一致、数据内容冲突的问题。
三、数据质量管理方法
1、建立质量管控流程和规范
明确质量管控的角色、职责，建立可执行的工作流程、可量化的工作评估等关于数据质量管控办法，同时也应具备绩效考核、冲突解决与管控方式等。
2、执行管理工作
进行已知数据问题的评估，评估的范围控制在本轮管控的目标范围内。通过对数据进行剖析，发现数据问题，具体规则又可通过标准或业务调研进行提取。获得已知数据问题后，就应设计数据质量控制操作程序。主要包括制定质量问题评估方式和整改方式、制定质量报告内容及对象以及制定检查和监控的频率及方式。根据剖析的质检规则和控制操作程序，对数据质量需求进行定义。数据质量需求定义完毕之后，我们就需要确定在此需求下，目前数据质量的水平处于什么位置。明确反应质量水平的并最直观的就是错误数据的详情情况。问题找到后，针对根据不同的质量问题，进行不同的质量整改方案。比如：源头修改、补录、技术修复以及遗留问题管控等。
3、检查数据质量
首先确定整改质量，对处理后的数据进行再次质检，出具数据质量的报告;然后，对比处理前后效果，总结改进措施;最后，检查数据质量是否合格，分析不合格原因并下一轮管控中进行技术上或者操作程序上的改进。
4、监控数据质量，控制管理程序和绩效
根据既定的操作程序，对质量管控过程中各个环节参与者进行绩效评估。还可以根据不同时期的重点制定不同的评分标准，有针对性的进行评价和管控，如整改初期数据缺失严重，则可对完整性规则权重调大，以期更快看到成效或者达到更好的效果。

四、主流数据质量管理工具
正所谓，工欲善其事，必先利其器。亿信华辰睿治数据治理平台的数据质量管理模块以全面质量管理PDCA循环管理方法为指导，充分结合国内数据质量管理工作的特点，运用元数据管理、数据挖掘、数据分析、工作流、评分卡、可视化等技术最终帮助企业和政府建立数据质量管理体系，全面提升数据的完整性、规范性、及时性、一致性、逻辑性等，降低数据管理成本，减少因数据不可靠导致的决策偏差和损失。