数据质量问题出现的原因

大数据的建设和管理是一个专业且复杂的工程，涵盖了业务梳理、标准制定、元数据管理、数据模型管理、数据汇聚、清洗加工、中心存储、资源目录编制、共享交换、数据维护、数据失效等等过程。在任何一个环节中出错，都将导致数据的错误。甚至，源头数据本身就是错误的。所以，数据质量问题不仅仅是一个技术问题，它也可能出现在业务和管理的过程中。

1、数据质量的技术因素
数据标准制定的质量问题：数据输入规范不统一，不同的业务部门、不同的时间、甚至在处理相同业务的时候，由于数据输入规范不同，造成数据冲突或矛盾。如果在数据的生成过程中包含主观判断的结果，必然会导致数据中含有主观的偏见因素。并且，不是所有行业都有公认可信的数据标准，而组织标准制定过程中容易出现数据元描述及理解错误，代码码集定义不正确、不完整等情况。
数据模型设计的质量问题：由于对业务理解的不到位或技术实践水平不到位，数据库表结构、数据库约束条件、数据校验规则的设计不合理，造成数据存储混乱、重复、不完整、不准确。
数据源本身存在质量问题：在生产系统中有些数据就存在不规范、不完整、不准确、不一致等问题，而采集过程没有对这些问题做清洗加工处理，或清洗加工的程序代码不正确。
数据梳理过程的质量问题：在数据采集之前，需要梳理组织机构、业务事项、信息系统、数据资源清单等信息，那么对业务的理解不到位，将造成梳理报告的不完整或不正确。
数据采集过程的质量问题：采集点、采集频率、采集内容、映射关系等采集参数和流程设置的不正确，数据采集接口效率低，导致的数据采集失败、数据丢失、数据映射和转换失败。
数据清洗加工的质量问题：数据清洗规则、数据转换规则、数据装载规则配置有问题，甚至未按照数据标准开展相应的清洗加工工作，自由发挥的空间过大。并且在数据汇聚的过程中，没有及时建立数据的相关性，导致后期很难补充完善。

2、数据质量的业务因素
业务理解不到位：数据的业务描述、业务规则、相关性分析不到位，导致技术无法构建出合理、正确的数据模型。
业务流程的变更：业务流程一变，数据模型设计、数据录入、数据采集、数据传输、数据清洗、数据存储等环节都会受到影响，稍有不慎就会导致数据质量问题的发生。
数据输入不规范：常见的数据录入问题，如：大小写、全半角、特殊字符等一不小心就会录错，甚至还会将数据输入到错误的字段中，造成“张冠李戴”。人工录入的数据质量与录数据的业务人员密切相关，录数据的人工作严谨、认真，数据质量就相对较好，反之就较差。
业务系统烟囱林立：过去 20 年中，只要是稍大一点的企业和政府部门，都建设了一批信息化系统来解决业务问题，但也导致了如今信息化整合的痛点和困难，变先发优势为数据困境。
数据作假：操作人员为了提高或降低考核指标，对一些数据进行处理，使得数据真实性无法保证。

3、数据质量的管理因素
人才缺乏：组织以自身的业务发展的主要原则组建团队，数据建设则依赖于外部服务公司，而自身没有建立相应的管理手段和监督机制，从而无法准确判断数据项目的建设成效。
流程管理不完善：缺乏有效的数据质量保障机制和问题处理机制，数据质量问题从发现、指派、处理、优化没有一个统一的流程和制度支撑，数据质量问题无法闭环。
成员意识不开放：组织管理缺乏数据思维，没有认识到数据质量的重要性，重系统而轻数据，认为系统是万能的，数据质量差些也没关系。组织成员没有从组织战略的视角来看待数据资产，而把数据看成是创造它的部门的资产，从而导致数据冗余、数据不一致、数据割裂，从而导致数据价值难以发掘。
奖惩机制不明确：没有明确数据归口管理部门或岗位，缺乏数据认责机制，出现数据质量问题找不到权威源头或找不到负责人。缺乏数据规划，没有明确的数据质量目标，没有制定数据质量相关的政策和制度。