现代企业的各项决策和管理都建立在高质量数据的基础之上,而这依赖于数据清洗、数据连通与业务融合等多方面的协同。成熟的数据治理模式和工具能够有效提升数据质量和安全性,确保数据资产的有序存储于共享,为深度推进信息资源整合和对接提供良好基础。
一、数据治理背景介绍
数据治理是对数据的全生命周期进行管理,包含数据采集、清洗、转换等传统数据集成和存储环节的工作、同时还包含数据资产目录、数据标准、质量、安全、数据开发、数据价值、数据服务与应用等,整个数据生命期而开展开的业务、技术和管理活动都属于数据治理范畴。有的专家干脆把广义的数据治理称为数据资产管理。
二、数据治理意义:发掘数据资产的商业价值
数据治理能够消除数据的不一致性,建立规范的数据应用标准,提高组织数据质量,实现数据广泛共享,并能够将数据作为组织的宝贵资产应用于业务、管理、战略决策中,发挥数据资产的商业价值。同时,数据治理将帮助组织更好的遵从内外部有关数据使用和管理的监管法规,如SOX法案,Basel II协议等。良好的数据治理必将为信息化时代的企业带来不可替代的竞争优势。
三、数据治理平台三要素
1、数据准备:数据准备是清理、标准化、转换或丰富数据的过程。数据驱动型团队依赖于数据准备平台,这些平台过去由数据专家完成任务,现在由最了解数据的运营人员完成。数据治理平台需要具有类似Excel的UI和智能指导的工作流驱动,需要功能直观且、易于使用。
2、数据剖析:衡量整个企业以各种形式存储的数据的特征和状况的过程。数据剖析通常被认为是获得对团队数据的控制权的重要第一步。此步骤的关键是深入了解数据,包括单个数据源和特定记录。凭借对数据的深入了解,统计数据剖析得以执行,并应用自定义规则和对不符合团队标准的数据进行修改。
3、数据管理:管理从策划到退役的数据生命周期全过程。数据管理是定义和维护数据模型、记录数据、清理数据以及定义其规则和策略的过程。它支持实施定义明确的数据治理流程,涵盖多项活动,包括监控、协调、优化、重复数据删除、清理和聚合,以帮助向应用程序和最终用户提供高质量的数据。
四、数据治理平台搭建流程
1、制定数据标准,优化流程
对企业来说,数据有很多来源。金融、人力、供应链、生产、销售等内部数据;政策、经济、社会、科技、产业、市场、竞争者等外部数据。尽管数据来源广泛,数据量大是其优势,但如果不加以整理,混乱的数据不但不利于分析应用,而且会造成不必要的财产损失。所以企业应建立统一的数据标准、数据管理流程和系统,以规范数据生产与供应过程。
2、搭建平台
对于数据治理平台的搭建,企业需要考虑用户的不同需求,从而建立不同的模块。数据治理平台的内容主要包括数据质量管理、数据标准管理、数据安全管理、数据模型工具、元数据管理、主数据管理等功能模块。我们所说的数据治理项目不是为治理数据而构建,而是与大数据平台、数据仓库、数据分析挖掘等项目相结合,通过提高数据质量、控制数据安全性,使数据发挥最大效益。
3、优化模型,确保数据安全
数据安全管理是从数据资产整理开始的。将数据资产进行整理分类,可以明确敏感数据在系统内的分布情况,判断敏感数据是如何被访问的,以及确定当前账号和授权的状态。依据数据价值和数据特性,对企业的核心数据资产进行分类,利用数据治理工具将其模型化,确定敏感数据的位置、描述和处理方法,确保数据的合法合规地使用。