睿治

智能数据治理平台

睿治作为国内功能最全的数据治理产品之一,入选IDC企业数据治理实施部署指南。同时,在IDC发布的《中国数据治理市场份额,2022》报告中,蝉联数据治理解决方案市场份额第一。

数据编织 (Data Fabric) vs 数据网格 (Data Mesh)

时间:2022-05-06来源:仲夏夜浏览数:911

建立社会技术系统,是指为了提高组织效益而采用同时集中于技术和社会两方面的变革,使他们相互关系最佳配合的一种有计划的组织变革方法。

近来,数据管理领域的热词也是不少,从国外来的数据编织 (Data Fabric) 和数据网格 (Data Mesh) 是两个经常被提及的新话题。为了跟上新技术的步伐,我也对这俩概念做了一点功课,和大家一起探讨。

Gartner给数据编织(Data Fabric) 的定义如下:

Data Fabric is a design concept that serves as an integrated layer of data and connecting processes.

数据编织是一个设计概念,表示数据和连接进程的集成层。


Forrester给出数据网格 (Data Mesh) 的定义如下:

Data Mesh is a decentralized sociotechnical approach to share, access and manage analytical data in complex and large-scale environments within or across organizations.

数据网格是一种分散的社会技术方法,用于在组织内部或跨组织的各种复杂和大规模环境中,共享、访问和管理分析数据。


只看概念,是不是看不出啥端倪了,还是上图吧!


数据编织 (Data Fabric) 把数据从生产到利用的过程分为3个层次:

最底层是记录系统,也就是各个业务系统的数据库。

中间层是通过 ETL 等手段转移到按照数据库类型分类的各个数据库中。

最上层是一个集成层,面向用户提供数据产品,注意实际的数据是保存在中间层的


那么数据网格呢?还是上图:


数据网格 (Data Mesh) 把数据从生产到利用的过程也是分为3个层次:

最底层是记录系统,也就是各个业务系统的数据库。

中间层是一个数据湖,数据在湖中做了物理集中。

最上层是一个,额...,没有最上层? 最上层其实是基于数据湖中数据形成的数据产品


问题来了……数据编织 (Data Fabric) 和数据网格 (Data Mesh) 的区别在哪里呢?

一个主要区别就是这个第二层,在数据编织中,数据是按数据库类型经过转换的规整数据,有点Bill Inmon理念数据仓库的意思吧,数据是处理加工过的,方便给顶层调用。而数据网格的数据是全部在数据湖中,还都是原始格式存储,有点Kimball理念数据仓库的意思吧。


有什么本质区别吗?


有的人说有,有的说没有,确实要先把“本质区别”是什么定义清楚,才好说是否有本质区别。个人感觉,就是两种不同的解决方案。中国人讲的数据中台概念,可以和他们放在一起并列,或者说各家的中台解决方案,不是数据编织,就是数据网格。


如果还有人说老外的数据编织和数据网格没有你说的那么肤浅, 我觉得他们都是主数据+数据仓库+数据中台+数据资产管理平台做一个有机的大集成,不过路径不同


你觉得呢?欢迎留言探讨!


后续:

在翻译数据网格这个概念的时候,注意到其定义里面,用了一个单词叫Socio-technical,特意翻了词典叫社会技术系统,这个词是什么意思呢,特意查询了百度百科:

建立社会技术系统,是指为了提高组织效益而采用同时集中于技术社会两方面的变革,使他们相互关系最佳配合的一种有计划的组织变革方法。这种方法强调组织的技术和人的因素的最佳结合,强调对完成工作的方法重新设计。它是现代组织变革活动中较为流行的方法之一。


都说每个单位就是一个小社会,这个社会不就是要管理吗!这个定义告诉我们数据管理可不仅仅是技术不仅仅是IT系统,要用社会的方法,建章立制,有管理办法,有管理流程,有数据管理的专门角色和团队,再辅以先进的IT系统才能把数据管理好!



(部分内容来源网络,如有侵权请联系删除)
立即申请数据分析/数据治理产品免费试用 我要试用
customer

在线咨询

在线咨询

点击进入在线咨询