数据治理平台搭建方案

数据治理是将一个企业或政府部门的数据作为战略资产来管理，需要建立一套从数据采集到处理应用的管理机制，以提高数据质量，实现广泛的数据共享，最终实现数据价值最大化。

数据治理平台的建设背景

随着大数据时代的来临以及信息技术的发展，人们产生的数据量正在以指数级的速度在增长，并且数据正以多元结构（结构化与非结构化）趋势发展。如今各行业都开始了大数据平台的建设，希望利用大数据的能力，来实现数字化转型。如此海量的、多元结构的数据就要求利用有效的方法来管理。目前大数据平台的突出问题主要体现在以下四方面：

1、 对平台中的数据不了解；

2、 没有统一数据标准

3、 不能高效快捷获取数据

4、 难以搭建数据之间的关联体系

数据治理是将一个企业或政府部门的数据作为战略资产来管理，需要建立一套从数据采集到处理应用的管理机制，以提高数据质量，实现广泛的数据共享，最终实现数据价值最大化。

数据治理平台的建设目标

基于数据治理体系，可以分为六大建设目标：

（1）数据接入标准化：对源头采集的数据制定统一标准，全程实时监控接入了多少数据，通过设置预警阀值，应该接入多少数据，及时发现源头采集问题。

(2）数据处理自动化：通过人工智能技术，以机器算法代替人力劳动，提高生产效率。

(3）数据监控智能化：通过定义接口规范，实现数据监控的统一管理，以短信、邮箱方式及时提醒、发现并解决问题。

(4）数据组织知识化：收集不同业务的数据集，进行预处理，自主建模，可视化分析，形成知识图谱。

(5）数据运行可视化：将ETL工具、业务流程与数据治理平台结合，打通数据治理实施各个环节，由平台驱动各产品协作完成整个数据治理过程。

(6）数据应用自助化：通过数据治理平台，企业用户可自助获取高质量数据，并且平台还会根据企业用户需求，提供各种服务。

数据治理平台的建设思路

形成数据治理体系

大数据中心的建设需要通过数据治理体系来实施，主要包括五大部分：

(1）制定标准，建立统一标准规范。

(2）数据处理，对导入数据进行清洗，提高数据质量。

(3）资产管理，实时监控记录数据数量、来源、标准情况等。

(4）共享服务，实现高质量数据共享。

(5）数据应用，实现数据治理价值，根据应用效果，对治理体系进行改进。

构建数据治理架构

图为亿信华辰睿治智能数据治理平台产品架构图，睿治数据治理平台融合数据集成、数据交换、实时计算存储、元数据管理、数据标准管理、数据质量管理、主数据管理、数据资产管理、数据安全管理、数据生命周期管理十大产品模块，打通数据治理各个环节，十大产品模块可独立或任意组合使用，快速满足政府、企业各类不同的数据治理场景。

构建数据中心架构

数据中心是按照四层架构，包括源数据区、缓冲区、基础区和专题区：

(1）源数据区，是数据中心汇聚的基础，比如组织机构的业务数据，以结构化数据为主体，也包括非结构化数据和流式数据。

(2）缓冲区，是数据中心和业务系统之间的缓存区，避免数据治理对各业务流程产生影响。

(3）基础区包括两部分，结构化标准库，是对缓冲库数据进行标准化处理之后的数据；业务整合区是对所有数据进行建模、打造知识体系的过程，其中模型主要包括主题域模型、主数据模型，以及将数据纵横关联的知识图谱和标签库。

(4）专题区涵盖了所有业务专题，是数据治理成果的一种展现方式。

数据梳理

数据梳理是数据治理的前提，即总结分析数据资源，掌握业务流程。将数据治理过程中，对数据进行预处理、分析、建模、可视化后的结果，以报表等展现出来。

数据治理的目标是提高数据的质量（准确性、及时性、完整性、唯一性、一致性，有效性），确保数据的安全性（保密性、完整性及可用性），实现数据资源在各组织机构部门的共享，推进数据资源的整合、服务和共享，从而提升企事业单位信息化水平，充分发挥数据资产作用。通过实施数据治理工具，可以让数据质量变得更好，发掘数据资产的商业价值，实现如下目标：对业务的支撑；降低经营风险、安全保障；对决策进行支持；满足风险控制和外部监管要求；实现企业可持续发展。关于数据治理工具，我推荐睿治智能数据治理平台，主要原因有：

1）平台支持多种数据库、文件等结构化和非结构化数据。

2）支持通过元数据批量盘点数据资产，自动活化资产目录信息，及时响应资源的变更情况。

3）可以快捷开发出多种数据服务类型，包括：数据查询、下载、共享交换、API和敏捷分析，还能提供分析产品授权使用、基于分析模型报表开发、验证接口调用、主题文件批量下载等高附加值服务。

4）消费者获取的数据可依据数据安全中对资产的分级分类要求做响应的脱敏和加密处理。

5)消费者在门户中可以通过关键字检索的方式查找需要的数据资产，浏览数据资产详情并发起数据服务的使用申请。