首页 行业百科 数据治理的本质及数据治理具体怎么做?

数据治理的本质及数据治理具体怎么做?

|亿信华辰大数据知识库2023-03-01

数据治理的本质及数据治理具体怎么做?

“产业数字化、数字产业化”的发展要求让数据资产的建设变得尤为重要,在政企数据、行业数据、用户数据的交换融合、多维分析、综合应用的大势所趋之下,数据的安全、质量、时效性、类目等要求势必会逐步提高,建设可溯源、可管控、可量化的数据治理体系是构建企业数据上层应用的重要基础,也是企业数字化转型的必经之路。那么到底应该怎么做数据治理呢?

“产业数字化、数字产业化”的发展要求让数据资产的建设变得尤为重要,在政企数据、行业数据、用户数据的交换融合、多维分析、综合应用的大势所趋之下,数据的安全、质量、时效性、类目等要求势必会逐步提高,建设可溯源、可管控、可量化的数据治理体系是构建企业数据上层应用的重要基础,也是企业数字化转型的必经之路。那么到底应该怎么做数据治理呢?

首先需要理解数据治理的本质是什么。当很多认知和行为模式不一样的数据生产者同时在生产数据内容时,就会产生混乱的结果,这个也叫熵增。数据治理的本质,就是减熵,翻译成大家都听得懂的话,就是需要做规范化,或者叫标准化。而做标准化,又分为标准化的设计、标准化的执行两个方面。

标准化的设计可以有很多方向,这里大概列一下比较通用的标准化设计的方向,仅供参考:
① 数据表标准化
大多数企业发展到一定阶段都会做数仓的建设,数仓建设本身就是对数据表进行规范化设计和管理。即使没有数仓,我们也可以简单地从以下两个方面来做数据表的标准化管理:
•  数据表分层和分类。数据表分dwd、dws、mid、dm、dim层,以及按营销、商品、采购、仓储等域区分,同时有商品、部门、用户等主键用于权限隔离。
•  权限控制规范。不同层级表的读写权限控制,有公共库和业务库的区分,全量表和增量表的区分。
② 任务标准化
sql或者etl任务,在执行过程中的读写操作,是性能消耗的最大影响点,同时也决定了数据表数量和数据量的生成速度。任务的标准化对于数据治理而言重要性非常高,可以考虑从以下三个方向:
•  任务本身规范。包括命名规范,执行规范,全量表增量表的使用规范等。
•  任务之间的规范。依赖关系要有且清晰,以及层级清晰,层级也不宜太多。
•  性能最优。需要考虑单任务的执行效率,精准使用不同层级的表,以及不过度生产数据、不重复生成数据。在真正治理过程中发现性能异常的任务,往往都是因为没有做性能优化导致。
③ 报表页面标准化
报表在企业内会被大规模使用,核心报告也在被高层关注,对报告的标准化管理,能很直观地体现数据治理效果:
•  分层报表管理。核心公共报表统一管理 vs. 自由报表单独域或者目录,移动端统一管理 vs. PC端自由产出,部门级核心报告 vs. 次核心报告分层等。
•  目录规范。一般是建议按照业务属性、部门属性、项目属性进行划分,方便做权限管理。
•  页面规范。这个就比较细致了,包含对于表头,排版,颜色,字体,对齐,图表大小,筛选器位置,统计表和明细表规则等等一系列的规范。
④ 指标标准化
在数据治理中,指标的问题是看似简单但往往是问题最大的一类。我们常见的指标混乱问题,包括同样的指标多口径共存,口径范围不清晰,规则不清晰,逻辑不严谨等等问题,均需要做标准化处理:
•  指标和指标体系设计。参考阿里的原子指标、派生指标、衍生指标,不详细讲。
•  指标规范。需要从命名,口径,范围,逻辑,时间等等维度进行规范,建议做指标管理平台或建设企业的指标白皮书。
•  指标归属。核心指标归属IT/数据部门统一管理,并且需要做自上而下的宣导,以及统一性保障(错也一起错)。而业务部门自己开发的指标,在命名上就需要做一些区分,以及在使用场景上需要规避跟核心指标产生信息冲突。
⑤ 权限管理标准化
需要对指标、数据表等进行机密性分层,以及按不同部门不同层级的成员进行权限的划分,同时需要跟高层协商审批的规范,包含系统or邮件申请,不同类型申请对应的审核人。容易忽视的一点是,报表的权限和数据表的权限之间,需要保持权限的统一。
任何阶段的数据治理,标准化建设都是必不可少。中小企业对于这块容易忽视,在跑得快的过程中没有及时将规则制定清晰,会为以后留下不少坑。
在做好标准化的设计后,下一步标准化的执行,难度会大很多,需要的是做一系列的流程建设,为标准化落实下去保驾护航,方向包含以下几点:
•  监控机制。对于任务、页面、数据表等,进行监控,以及针对异常项报警,邮件或消息提醒。
•  复盘机制。月度或季度进行项目的复盘,针对治理的效果、目标达成进行反馈,以及头部异常客户通晒。
•  责任划分。责任到人,各方分别需要做的事情和承担的责任进行同步。
•  培训机制。使用规范的培训,确保大家有统一的行为准则。
•  启动专项。拉齐相关方,拉高层站台,组织项目启动会,并且做价值和目标的同步。
关于睿治智能数据治理平台
睿治智能数据治理平台由亿信华辰自主研发,融合数据集成、数据交换、实时计算存储、元数据管理、数据标准管理、数据质量管理、主数据管理、数据资产管理、数据安全管理、数据生命周期管理十大产品模块,各产品模块可独立或任意组合使用,打通数据治理各个环节,快速满足政府、企业各类不同的数据治理场景。
认为本内容有帮助
0
您可能需要的数据产品
亿信华辰助力政企数字化转型
customer

在线咨询