一、什么是数据治理?
数据治理是一个实现数据价值的过程。通过采集、传输、储存等一系列标准化流程将原本零散的数据变成格式规范、结构统一的数据,同时对其进行严格规范的综合数据监控,保证数据质量;然后对这些标准化的数据进行进一步的加工分析,形成具有指导意义的业务监控报表、业务监控模型等。让企业的数据从不可控、不可用、不好用到可控、方便易用且对业务有极大帮助,来帮助企业进行辅助决策。
二、数据治理目标
1、净化现有数据环境,打造全企业数据标准化管理体系
数据的质量问题,很大程度取决于数据所处环境的状况。因此需要从根本上打造一整套数据标准化管控体系以确保数据质量的可控制性,数据标准化管控体系包括数据管理制度、流程、组织、考核机制,数据安全、质量管理体系,数据权限管控体系,元数据管理体系,数据交换规范体系等。
2、实现静态数据标准化、规范化管理
企业的业务信息化建设过程中,数据管理方面存在的重复、不一致、不规范等问题愈加凸显,大多数的企业都希望通过
企业数据治理平台及厂商数据管理咨询结合企业的现状,制定出一套完全符合企业的静态数据中心管理的规范和标准,并最终实现系统落地,保证企业及其下属核心分子公司的主数据唯一性和准确性。
3、清洗历史数据,为各业务系统提供数据支撑
大部分企业信息化经历了多年快速的发展,各业务系统中积累了大量的历史数据,希望借助企业数据治理平台及厂商对现存的历史数据进行全面梳理和规范,通过成熟、专业的数据清洗方法、清洗策略、清洗工具,降低人为清理的成本,并将清理后的数据准确发布到各业务系统中,保证各业务系统中历史数据的准确。
4、规范现有的编码体系,实现编码灵活化、自动化
目前很多企业没有数据编码器,编码过程是发起人电话或者QQ通知编码员在各业务系统中添加的,随意性较强,且缺乏编码的审核监督过程,很容易出现数据重复,输入不规范等问题。希望实施企业数据治理平台后,可以实现自动编码,保证编码的唯一性、准确性、一致性。
5、为未来的智能决策打下坚实基础
企业信息化未来会考虑实施商务智能系统(BI)以及未来大数据的分析平台等,需要准确的数据来源,可以通过企业数据治理平台提供准确的数据,保证BI 抓取的数据准确、全面。
6、打造企业级静态数据中心,降低业务系统成本投入
建立企业级静态数据中心,形成企业数据交换(数据采集、分发)的雪花状结构,在保证数据准确性、一致性的同时降低原有企业业务系统间数据交换的网状接口开发成本。建立企业级静态数据中心,还可以借助企业
数据治理平台。完成主数据的编辑和录入,关闭业务系统的档案维护功能,因此可以减少ERP等系统的节点占用,从而节省比如ERP的高额成本投入。
三、数据治理需要注意什么?
1、投资决策的困难
组织的投资决策以能够产生可预期的建设成效为前提,但往往综合性的数据治理的成效并不能立马体现,它更像一个基础设施,是以支撑组织战略和长期发展为目标,所以,导致此类项目无法界定明确的边界和目标,从而难以作出明确的投资决策。
2、跨组织的沟通协调问题
数据治理是一个组织的全局性项目,需要IT部门与业务部门的倾力合作和支持,需要各个部门站在组织战略目标和组织长远发展的视角来看待数据治理。因此,数据治理项目需要得到组织高层的支持,在条件允许的情况下,成立以组织高层牵头的虚拟项目小组,会让数据治理项目事半功倍。
3、技术选型
这几年随着大数据的发展,有针对传统数据库的,有针对大数据数据库的,再加上组织对自身数据资产情况没有一个清晰的认识,这也就导致了数据治理的技术选型困难。
4、工作的持续推进
数据治理是以支撑组织战略和长远发展为目标,应当不断吸收新的数据来源,持续追踪数据问题并不断改进,所以数据治理工作不应当是一锤子买卖,应当建立长效的数据改进机制,并在有条件的情况下,尽量自建数据治理团队。
四、企业如何进行数据治理的三个步骤
第一步:企业数据进行归集和标准化
信息化领域有一个说法就是“垃圾进,垃圾出”,意指用脏乱的数据做样本,产生的研究成果也是毫无价值的。数据的污染可能发生在数据产生、采集、传输、流转、加工、存储、提取、交换等各个环节,因此要保证数据治理目标的实现,就必须对数据进行全流程的管控,要在数据标准、数据质量、数据文件交换、元数据、数据生命周期、主辅数据源、数据安全、数据责任等方面形成统一的数据治理规范。
第二步:数据模型管理和标签梳理
在实际的数据治理中,数据资源目录、数据分类、数据标签是相互配合、相辅相成的。建立良好的数据资源目录的第一步就是明确数据资源的分类,根据数据分类去组织资源、编目,之后是为数据资源打上数据标签,让数据资源更贴近用户、更容易管理,以便充分发挥出数据的价值。
第三步:企业算法和人工智能应用
在对企业数据进行归集和标准化,并对数据模型进行管控和标签梳理之后,就可以对数据进行管理,并辅之以相应算法和人工智能,在具体业务场景应用。