数据质量管理制度

数据质量管理制度设置考核 KPI，通过专项考核计分的方式对企业各业务域、各部门的数据质量管理情况进行评估。以数据质量的评估结果为依据，将问题数据归结到相应的分类，并按所在分类的权值进行量化。总结发生数据质量问题的规律，利用数据质量管理工具定期对数据质量进行监控和测量，及时发现存在的数据质量问题，并督促落实改正。

数据质量管理制度的作用在于约束各方加强数据质量意识，督促各方在日常工作中重视数据质量，在发现问题时能够追根溯源、主动解决。 

数据质量管理策略之事中控制
数据质量管理的事中控制是指在数据的维护和使用过程中监控和管理数据质量。通过建立数据质量的流程化控制体系，对数据的创建、变更、采集、清洗、转换、装载、分析等各个环节的数据质量进行控制。

一、加强数据源头的控制
“问渠那得清如许，为有源头活水来。”了解数据的来源对于企业的数据质量至关重要，从数据的源头控制好数据质量，让数据“规范化输入、标准化输出”是解决企业数据质量问题的关键所在。企业可以考虑从以下几个方面做好源头数据质量的管理。

1、维护好数据字典
数据字典是记录标准数据、确保数据质量的重要工具。数据会随着时间累积，如果数据积累在电子表格等非正式数据系统中，那么这些宝贵的数据就可能会存在一定的风险，例如可能会随着关键员工的离职而丢失。通过建立企业级数据字典对企业的关键数据进行有效标识，并清晰、准确地对每个数据元素进行定义，可以消除不同部门、不同人员对数据可能的误解，并让企业在 IT 项目上节省大量时间和成本。

2、自动化数据输入
数据质量差的一个根本原因是人为因素，手动输入数据，很难避免数据错误。因此，企业应该考虑自动化输入数据，以减少人为错误。一个方案，只要系统可以自动执行某些操作就值得实施，例如，根据关键字自动匹配客户信息并自动带入表单。

3、自动化数据校验
对于疾病，预防比治疗更容易，数据治理也一样。我们可以通过预设的数据质量规则对输入的数据进行自动化校验，对于不符合质量规则的数据进行提醒或拒绝保存。数据质量校验规则包括但不限于以下几类。
● 数据类型正确性：数字、整数、文本、日期、参照、附件等。
● 数据去重校验：完全重复的数据项、疑似重复的数据项等。
● 数据域值范围：最大值、最小值、可接受的值、不可接受的值。
● 数据分类规则：用来确定数据属于某个分类的规则，确保正确归类。
● 单位是否正确：确保使用正确的计量单位。

4、人工干预审核
数据质量审核是从源头上控制数据质量的重要手段，采用流程驱动的数据管理模式，控制数据的新增和变更，每个操作都需要人工进行审核，只有审核通过数据才能生效。例如：供应商主数据发生新增或变更，就可以采用人工审核的方式来控制数据质量。

二、加强流转过程的控制
数据质量问题不止发生在源头，如果以最终用户为终点，那么数据采集、存储、传输、处理、分析中的每一个环节都有可能出现数据质量问题。所以，要对数据全生命周期中的各个过程都做好数据质量的全面预防。数据流转过程的质量控制策略如下。

1、数据采集
在数据采集阶段，可采用以下质量控制策略：
● 明确数据采集需求并形成确认单；
● 数据采集过程和模型的标准化；
● 数据源提供准确、及时、完整的数据；
● 将数据的新增和更改以消息的方式及时广播到其他应用程序；
● 确保数据采集的详细程度或粒度满足业务的需要；
● 定义采集数据的每个数据元的可接受值域范围；
● 确保数据采集工具、采集方法、采集流程已通过验证。

2、数据存储
在数据存储阶段，可采用以下质量控制策略：
● 选择适当的数据库系统，设计合理的数据表；
● 将数据以适当的颗粒度进行存储；
● 建立适当的数据保留时间表；
● 建立适当的数据所有权和查询权限；
● 明确访问和查询数据的准则和方法。

3、数据传输
在数据传输阶段，可采用以下质量控制策略：
● 明确数据传输边界或数据传输限制；
● 保证数据传输的及时性、完整性、安全性；
● 保证数据传输过程的可靠性，确保传输过程数据不会被篡改；
● 明确数据传输技术和工具对数据质量的影响。

4、数据处理
在数据处理阶段，可采用以下质量控制策略：
● 合理处理数据，确保数据处理符合业务目标；
● 重复值的处理；
● 缺失值的处理；
● 异常值的处理；
● 不一致数据的处理。

5、数据分析
● 确保数据分析的算法、公式和分析系统有效且准确；
● 确保要分析的数据完整且有效；
● 在可重现的情况下分析数据；
● 基于适当的颗粒度分析数据；
● 显示适当的数据比较和关系。
● 事中控制的相关策略