一、数据治理的概念
数据治理(DataGovernance),是一套针对整个企业内部数据,所制定和实施的商业应用和技术管理,通常包括了数据模型、数据架构组织、技术工具、政策及体系制定、数据质量、数据标准、作业流程、影响度分析、监督及考核等内容。
二、数据治理的意义和作用
数据治理确定了一系列岗位角色和相应的责任及管理流程,保证了业务数据在采集、转换、存储、应用整个过程中的准确性、完整性、一致性和时效性。通过数据治理,企业可以把数据当做资产来进行有效管理,构建出完善、共享、统一的数据管理环境。一方面提高数据治理,发挥业务价值;另一方面,帮助企业优化数据架构,提升企业系统信息化建设,支持更科学与精细化的决策。
三、数据治理平台的五种能力
1、数据交换能力
在数据交换过程中,数据治理强调端到端的数据交换,其中的事务处理机制保证了的数据一致性,有效提升了对数据状态的感知能力。即使在跨系统和网段的情况下,都能保证数据传输的流畅与稳定。
2、微服务架构能力
作为一种松耦合的架构风格,微服务主系统下的各种类型的数据交换及其处理都是以服务的方式存在,互为独立,互不影响且能高效协同。各个服务不用考虑系统内部的兼容问题,都能进行独立的迭代与部署。不仅能够快速生成服务模型,并且使用方便、安全。
3、数据处理能力
数据清洗是一项繁琐的工程,但又是极其重要的一个环节,传统数据清洗往往依赖于人工,要耗费大量时间成本与精力。但通过数据治理可以封装特定的清洗逻辑,实现交换过程中的数据转换、逻辑判断、数据路由等处理,而且,在处理过程中还可以设置检查规则,检查数据质量,并记录数据异常以提供元数据分析。
4、全方位的数据治理支持能力
1)数据质量检查、数据质量报告、问题数据处理等。
2)数据模型管理,包括数据建模、元数据管理等。
3)数据安全管理,包括数据授权管理、数据脱敏处理、安全审计等。
4)数据资产可视化,包括数据图谱、数据地图、血缘关系等。
5、一体化数据交换和治理能力
由于企业内部业务繁杂且多变,在此条件下,要想实现数据采集、交换、加工、共享、治理功能,需要基于统一工具与架构。而数据治理平台能根据业务数据项目的特点对不同的数据功能模块进行组合,形成多种数据服务和治理解决方案。