首页 亿信华辰大数据知识库 数据质量通常存在这5点问题

数据质量通常存在这5点问题

|亿信华辰大数据知识库2022-02-21

数据质量通常存在这5点问题

数据仓库、大数据平台的建设如雨后春笋,越来越多的企业认识到了数据的重要性,数据是组织最具价值的资产之一。企业的数据质量与业务绩效之间存在着直接联系,高质量数据能够为企业提供洁净、结构清晰的数据,是企业开发业务系统、提供数据服务、发挥数据价值的必要前提,也是企业数据资产管理的前提。

数据仓库、大数据平台的建设如雨后春笋,越来越多的企业认识到了数据的重要性,数据是组织最具价值的资产之一。企业的数据质量与业务绩效之间存在着直接联系,高质量数据能够为企业提供洁净、结构清晰的数据,是企业开发业务系统、提供数据服务、发挥数据价值的必要前提,也是企业数据资产管理的前提。但“脏乱差”数据质量会严重影响业务决策,为业务的实施带来风险。据IBM统计:低劣的数据质量严重降低了全球企业的年收入;数据分析员每天有30%的时间浪费在了辨别数据是否是“坏数据”上;错误或不完整数据导致BI和CRM系统不能正常发挥优势甚至失效。
一、何为数据质量
数据质量指数据满足使用需要的合适程度,也就是反映数据的“适用性(fitness for use)”。数据质量管理的目的是为企业提供洁净、结构清晰的数据,通过一致性、完整性、及时性、合法性、准确性等多类维度对数据进行度量。是企业数据资产管理的前提,是企业提供数据服务、开发业务系统、发挥数据价值的必要前提。
二、数据质量存在的问题
数据冗余
各个信息系统针对数据的编码规则不一、校验标准不一、标准规范不一且部分业务系统针对数据的验证标准严重缺失,造成了企业顶层视角的数据出现“一码多物”、“一物多码”等现象。
数据不可控
缺少专门对海量数据管理进行监督和控制的组织。企业各单位和部门缺少一个组织从全局的视角对数据进行管理,关注数据的角度不一样会导致企业基础数据质量考核体系无法建立,无法保障一系列数据标准、规范、制度、流程得到长效执行。同时,也无法建立统一的数据管理标准、流程等,相应的数据管理制度、办法等无法得到落实。
数据不合规
企业各信息系统的数据录入环节过于简单且手工参与较多,没有统一的数据管理平台和数据源头,数据全生命周期管理不完整。缺少对数据是否重复、合法、对错等校验环节,会导致各个信息系统的数据不够准确,格式混乱,各类数据难以集成和统一,没有质量控制导致海量数据因质量过低而难以被利用,且没有相应的数据管理流程。
数据不完整
由于企业信息系统的孤立使用,没有统一的录入工具和数据出口,各个业务系统或模块按照各自的需要录入数据,业务系统不需要的信息就不录,造成同样的数据在不同的系统有不同的属性信息,数据完整性无法得到保障。
数据不一致

企业早期没有进行统一规划设计,系统建设时间长短各异,大部分信息系统是逐步迭代建设的,各系统数据标准也不同。由于各系统的相互独立使用,无法及时同步更新相关信息等各种原因造成各系统间的数据不一致,严重影响了各系统间的数据交互和统一识别。而且,企业业务系统更关注业务层面,各个业务系统均有不同的侧重点,各类数据的属性信息设置和要求不统一,基础数据难以共享利用,数据的深层价值也难以体现。

三、对数据质量管理工具的认知
EsDataClean数据质量管理平台是亿信华辰自主研发的数据质量管理平台,提供从质量监控、标准定义、质量分析、绩效评估、重大问题及时告警、质量报告、系统管理、流程整改发起等数据质量管理全过程的功能。还提供了业界主流的质量评估方法、质量规则管理方法、跨数据源比对、零编码质检规则、数据质量整改、质量分析报告、质量绩效评估等主要功能。以元数据为数据检核对象,以数据标准为数据检核依据,通过可视化、向导化等简易操作手段,将质量检核、质量评估、质量报告与质量整改等工作环节进行流程整合,形成完整的数据质量管理闭环。通过事先定义好的调度时间、规则、工作流程,自动完成数据的质量检查,极大的减少人力的投入和过程干预,提升效率,减少误差。同时对质量检查的结果提供多方式(界面、邮件、短信)告警,遇到重大问题能够及时警告,让用户及时了解到系统检查结果,避免重大问题的延误。


总结

亿信数据质量管理平台EsDataClean解决了当下数据质量管理平台,对操作人员要求高,而且不够灵活的问题,使得普通的业务人员就可以对数据质量进行检测并生成报告,这不仅节省了大量时间和人力物力,也提高了工作效率并为之后的数据挖掘和分析工作等腾出了更多的时间。
认为本内容有帮助
0
您可能需要的数据产品
亿信华辰助力政企数字化转型