睿治

智能数据治理平台

睿治作为国内功能最全的数据治理产品之一,入选IDC企业数据治理实施部署指南。同时,在IDC发布的《中国数据治理市场份额,2022》报告中,蝉联数据治理解决方案市场份额第一。

6000字干货!如何成功实施一个数据治理项目

时间:2021-10-09来源:亿信华辰浏览数:201

江湖传言:数字化转型数据治理先行。
如今很多企业都将数据治理作为数字化战略的一项必要举措,但大家对数据治理有着一个普遍的共识,那就是:“数据治理说起来容易,做起来难”。

那么,如何实现一个数据治理项目成为大家最关心的话题,今天小亿将围绕数据治理项目的实施步骤、工具平台的功能应用,基于多年来的实践经验,总结出数据治理实施成功的要素。全文干货过多,建议收藏。

一、什么数据治理
数据治理(Data Governance)是组织中涉及数据使用的一整套管理行为。由企业数据治理部门发起并推行,关于如何制定和实施针对整个企业内部数据的商业应用和技术管理的一系列政策和流程。国际数据管理协会给出的定义:数据治理是对数据资产管理行使权力和控制的活动集合。

二、数据治理的关注点
(一)数据来源
这是数据生命周期的起点。数据来源决定了数据治理的基础。例如数据集的大小就由数据来源所决定。是从目标市场、现存用户和社交媒体收集数据?还是使用第三方收集数据或者分析你收集的数据?输入数据流是什么?数据治理必须关注这些问题,并制定策略来管理数据的采集,引导第三方处理他们收集的数据或者分析你收集的数据,控制数据的路径和生命周期。

(二)数据验证
通常数据源都是非常庞大且多样的,这是一个让数据管理者非常头疼的问题。将数据噪音和重要数据进行区分仅仅只是开始,如果你正从关联公司收集数据,你必须确保数据是可靠的,如果你从社交媒体收集数据,那就要保证你有验证重要数据的方法。总之,你要确保你所获得的数据是合法和原始真实的,这个问题在并行计算环境中尤其令人担心,因为并行计算常常被用来收集大量数据,这往往会使用云服务,故而增加了安全隐患。

(三)存储问题
数据存储和数据集的大小有密切关系,大数据的存储必须是在安全的冗余系统之中。常常利用层次体系,根据使用频率来存储数据。这样一来,昂贵的在线系统提供的是被频繁请求的数据,而请求频率较低的数据则存储在便宜,可用率较低的系统上。当然,一些请求频率低但是敏感的数据如果存储于安全性较低的系统上,风险会大大提升。因此,在制定数据存储方案时,良好的数据治理策略必须考虑到方方面面的因素。

(四)数据管理
明确访问者的权限,只能访问他们对应权限包含的数据。只有合法请求才能够访问数据,而敏感的数据需要更高的权限和更严密的验证才可以被访问。只向具有特定安全级别的用户开放。应该对用户和数据本身设置访问级别,管理账户时,应与人力资源部和采购部紧密互动,这一点非常重要,因为这样可以及时地使离职员工和停止合作的供应商不再拥有访问权限。处理好这些细节以及确保数据所有权和责任,这是构成完整的数据治理策略的一部分。

(五)数据使用
如何使用数据是数据治理之后一项重要的内容,数据可能会用于客户管理,提高客户体验,投放定向广告,提供市场分析,和关联公司共享数据。必须仔细界定哪些数据可用于共享或者用于营销,并保护它们免遭攻击和泄露,因为数据本来就应该被用于纯粹的内部用途。让用户知悉采集数据的所有公司都会遵守数据安全和保证的规定。能够确保数据被合理合规的使用,也是数据治理重要的一项内容。

(六)数据安全
收集、验证、存储、访问和使用都是数据安全计划的必要组成部分,必须要有一个全面的策略来解决这些问题以及其他安全问题。数据安全计划必须是有效且可用性高,但是数据生命周期的所有部分都很容易受到攻击和由于粗心造成的破坏。你必须在数据治理中确定数据安全计划,包括访问控制,静态数据,数据传输之后的加密等。

三、成功的数据治理步骤
数据治理可参考按照“统筹规划→管理实施→稽核检查→资产运营”四个阶段的方法策略执行,每个阶段对应的管理职能如图所示。以业务应用目标为指引,企业可以按照自身数据及管理情况制定不同的实施步骤顺序。

(一)统筹规划
第一阶段是统筹规划过程,制定数据治理战略规划,明确数据治理目标,涉及建立数据治理组织和制度作为保障措施,盘点数据资产,制定数据资产标准规范等,该阶段成果是后续工作的基础。

一般情况下,数据治理的第一步是建立组织责任体系,根据自身情况,制定数据治理制度规范。需要建立一套独立完整的关于数据治理的组织机构,明确各级角色和职责,确定兼职专职人员,保障数据治理的各项管理办法、工作流程的实施,推进工作的有序开展,并逐步打造管理及技术的专业人才团队。第一步的主要交付物包括:《数据治理规划》、《数据治理认责机制》、《数据治理工作指引》、《数据治理考核评价办法》。

第二步是结合业务盘点数据资产,评估当前数据管理能力。对基础数据的盘点是开展数据治理工作的前提之一,需要分析企业战略及业务现状,结合当前大数据现状及未来发展,盘点企业内外部数据现状,确立数据治理的目标,并逐渐实施需求调研、盘点资产、采集汇聚等专题任务。与此同时,了解企业数据来源、数据采集手段和硬件设备情况,以定位自身数据治理能力,规划未来数据治理成熟度提升方案。第二步的主要交付物包括:《数据资产盘点清单》、《数据资产管理现状评估》。

第三步是制定数据资产相关的标准规范。在企业组织架构、制度体系和数据资产盘点的基础上,结合国际标准和行业标准,围绕数据资产全生命周期管理,制定相关的数据规范体系,包括元数据标准、核心业务指标数据标准、业务系统数据模型标准、主数据标准、关键业务稽核规则等,使得数据管理人员在工作中有明确的规则可依,同时,建立参考数据和主数据标准、元数据标准(比如元模型标准)、公共代码标准、编码标准等基础类数据标准,以及基础指标标准、计算指标标准等指标类数据标准和关键业务稽核规则。企业应逐步推动相关数据规范和标准的工作建设,使数据有效汇聚和应用,切实保障数据治理的流畅实现。第三步的主要交付物包括:《数据标准管理办法》。

(二)管理实施
如果说第一阶段重点还在于对数据资产的定义、规划、梳理,第二阶段就是对第一阶段成果的落地实施。

首先,在搭建大数据管理平台、完成数据汇聚工作的基础上,根据企业自身存量数据基础和增量数据预估,建设或采购必要的数据治理平台或引入第三方工具以支撑管理工作,切实建立起企业数据治理能力。(下文会细讲)

其次,要建立安全管理体系,防范数据安全隐患,执行数据安全管理职能。再次,还需要制定和管理主数据,以明确企业核心业务实体的数据,如客户、合作伙伴、员工、产品、物料单、账户等,从而自动、准确、及时地分发和分析整个企业中的数据,并对数据进行验证。

在第二阶段里,需要从数据治理的相关业务、技术部门日常工作流程入手,切实建立起企业数据资产管控能力,包括从业务角度梳理企业数据质量规则,检测数据标准实施情况,保证数据标准规范在企业信息系统生产环境中真正得到执行。针对关键性数据治理工作,可以借助管理工具,建立数据资产的管理流程,保证相关事情都有专人负责。

同时,企业应加强数据资产服务和应用的创新,可以围绕降低数据使用难度、扩大数据覆盖范围、增加数据供给能力等几个方面开展。通过数据可视化、搜索式分析、数据产品化等降低数据使用难度;通过数据“平民化”(如打造数据应用商店)扩大数据覆盖范围,让一线业务人员接触到更多的数据,让数据分布更加均衡;通过数据消费者、数据生产者之间灵活的角色转变,增加数据的供给能力(如形成数据众筹众享模式)。

第二阶段的工作目标主要是为企业打造核心的管理数据资产的能力,同时为企业内数据治理部门形成数据管理的工作环境,概括起来,就是企业数据资产可管理、可落地。第二阶段主要交付物包括:《数据治理办法》、《数据治理实施细则》(包括数据标准管理、数据质量管理、元数据管理、主数据管理、数据安全管理、数据应用管理等)。

(三)稽核检查
稽核检查阶段是保障数据治理实施阶段涉及各管理职能有效落地执行的重要一环。这个阶段包括检查数据标准执行情况、稽核数据质量、监管数据生命周期等具体任务。这个阶段需要抓好四个“常态化”:

数据标准执行情况检查的常态化

数据标准管理的检查主要从标准制定和标准执行两个方面检查。标准制定的检查主要围绕同国家标准、行业标准的一致性,同时参考与本地标准、数据模型的结合性,包括数据命名规范、数据类别等。标准执行的检查主要围绕标准的落地情况,包括数据标准的创建和更改流程的便捷性、数据标准使用的广泛性、数据标准与主数据的动态一致性等。

数据质量稽核的常态化
应对数据质量问题,首先要提升数据质量意识。其次,建立一套良性循环、动态更新的数据质量管理流程,制定符合业务目标的数据质量稽核规则,明确在数据全生命周期管理各环节的数据质量提升关键点,持续评估和监督数据质量与数据质量服务水平。

灵活配置数据存储策略的常态化
数据生命周期管理,其目标是以完全支持企业业务目标和服务水平的需求,根据数据对企业的价值进行分类分级,形成数据资产目录,然后制定相应的策略,确定最优服务水平和最低成本,将数据转移到相应的存储介质上,争取以最低的成本提供适当级别的保护、复制和恢复。

数据资产安全检查的常态化
企业应通过建立对数据资产及相关信息系统进行保护的体系,合规采集数据、应用数据,依法保护客户隐私,提高数据安全意识,定期进行数据资产安全检查,保证数据的完整性、保密性、可用性。

第三阶段主要交付物包括:《数据治理稽核办法》、《数据治理问题管理办法》。

(四)资产运营
通过前三个阶段,企业已经能够建立基本的数据治理能力,在此基础上,还需要具备以实现业务价值为导向,以用户为中心,为企业内外部不同层面用户提供数据价值的能力。资产运营阶段是数据治理实现价值的最终阶段,该阶段包括开展数据资产价值评估、数据资产内部共享和运营流通等。

数据资产价值评估能够以合理的方式管理内部数据和提供对外服务。在大数据时代,数据运营企业关于数据价值的实现是体现在数据分析、数据交易层面。只有对数据资产价值进行合理的评估,才能以更合理的方式管理内部数据和提供数据对外服务。

数据资产内部共享和运营流通需要加强管理运营手段和方式方法,促进数据资产对内支撑业务应用,对外形成数据服务能力,打造数据资产综合运营能力。

第四阶段主要交付物包括:《数据资产价值评估方法》、《数据资产成本管理方法》、《数据资产共享流通管理办法》。

四、亿信华辰睿治平台简介
数据治理实践离不开软件工具,数据治理实践实施过程中,需要依托具体的软件工具来执行。而且随着技术的发展,软件工具的自动化、智能化程度不断地提高,在数据治理中的作用越来越大。

睿治数据治理平台由亿信华辰自主研发,融合数据集成、数据交换、实时大数据管理、元数据管理、数据标准管理、数据质量管理、主数据管理、数据资产管理、数据安全管理、数据生命周期管理十大产品模块,各产品模块可独立或组合使用,打通数据治理全过程,适应各类不同的数据治理场景应用。

亿信华辰睿治数据治理平台功能全解:
(一)数据集成管理
数据集成面向数据迁移、交换、汇集、处理、建模等需求,集数据建模与ETL设计于一体,支持广泛的数据源,内置多种成熟数据处理引擎,可为政府或企业提供更快捷、更高效、更安全的数据集成解决方案。

(二)数据交换管理
数据交换面向数据迁移、交换、汇集、处理等需求,内置多种交换组件,容纳多种多样数据格式,提供丰富数据处理与交换任务设计,提供可视化数据交换监控,帮助用户建立统一、安全、高效的全局数据共享交换平台。

(三)实施大数据管理
实时大数据管理基于开源Hadoop框架开发,融合MPP、SQL on Hadoop、流处理等大数据技术,支持海量数据的高效储存和统一管理,为企业决策提供实时的数据支撑。

(四)元数据管理
元数据管理分析数据来龙去脉,致力于处理技术元数据、业务元数据、管理元数据,帮助各行各业用户获得更多的数据洞察力,进而挖掘出隐藏在资源中的价值。

(五)数据标准管理
数据标准管理建立规范的数据应用标准,消除数据的不一致性,从根本上改善和解决系统的数据质量问题,实现数据有效共享,并为后续质量检查提供依据。

(六)数据质量管理
数据质量管理以数据标准为数据检核依据,以元数据为数据检核对象,通过向导化、可视化等简易操作手段,将质量评估、质量检核、质量整改与质量报告等工作环节进行流程整合,形成完整的数据质量管理闭环。

(七)主数据管理
主数据管理平台保证各个系统间共享数据的一致性、完整性、可控性、通用性、正确性,帮助企业创建并维护主数据的单一视图,从而提高数据质量,统一商业实体定义,简化改进商业流程并提高业务的响应速度。

(八)数据资产管理
数据资产管理通过元数据对信息资产特征进行描述,并以目录形式分类管理,形成统一规范的目录内容和数据资产服务,丰富服务接口的拓展,支撑数据资产的多渠道应用,如数据共享服务、分析决策支持等,最终实现数据资产价值最大化。

(九)数据生命周期管理
数据生命周期记录数据从创建和初始存储,到它过时被删除的整个流动过程,对数据进行近线归档、离线归档、销毁和全生命周期监控。

(十)数据安全管理
贯穿于数据治理全过程,保证数据的安全。提供对隐私数据的加密、脱敏、模糊化处理、及对数据库授权监控。

亿信华辰睿治数据治理平台的十大产品模块可灵活组合使用,通过有型的产品支撑和实施方法论,解决大企业面临的数据孤岛、数据维护混乱、数据价值利用低的问题,依据企业特有的业务和架构,构建一套源源不断地把数据变成资产并服务于业务的、可持续让企业数据用起来的机制,让数据可见、可懂、可用、可运营。

结语
无论企业大小,在使用数据上都面临相似的数据挑战。企业越大,数据越多,而数据越多,越发需要制定一个有效的,正式的数据治理策略。规模较小的企业也许只需要非正式的数据治理策略就足够了,但这只限于那些规模很小且对数据依赖度很低的公司。即便是非正式的数据治理策略也需要尽可能考虑用户数据的采集、存储、管理、使用。

当企业规模扩大,数据需求跨越多个部门时;当数据系统和数据集太大,难以驾驭时;当业务发展需要企业级的数据治理时,或者当法律或监管提出需求时,就必须进行更为正式的数据治理了。如果你发现,有部门在制定自己的数据管理策略,就是时候了。一旦有足够多的数据让你成为黑客的攻击目标,就是时候了。

简而言之,如果你不得不问“是时候了吗?”,那么可以肯定,是时候开始正式的数据治理了。
(部分内容来源网络,如有侵权请联系删除)
立即申请数据分析/数据治理产品免费试用 我要试用
customer

在线咨询