首页 行业百科 元数据平台的结构是怎样的?

元数据平台的结构是怎样的?

|亿信华辰大数据知识库2022-12-30

元数据平台的结构是怎样的?

任何文件系统中的数据分为数据和元数据。数据是指普通文件中的实际数据,而元数据是关于数据的数据,是为了描述数据的相关信息而存在的数据,通常由信息结构的描述组成。这些数据包括来自企业内外的物理数据的格式,技术和业务过程,数据的规则和约束以及企业所使用数据的结构。

一、元数据的定义
任何文件系统中的数据分为数据和元数据。数据是指普通文件中的实际数据,而元数据是关于数据的数据,是为了描述数据的相关信息而存在的数据,通常由信息结构的描述组成。这些数据包括来自企业内外的物理数据的格式,技术和业务过程,数据的规则和约束以及企业所使用数据的结构。例如记录数据的存储位置、模型定义、生命周期、血缘关系、访问权限、文件拥有者以及文件数据块的分布信息等信息。
在大数据时代,元数据还应该包括对各种新数据类型的描述,如对位置、名字、用户点击次数、音频、视频、图片、各种无线感知设备数据和各种监控设备数据等的描述等。

二、元数据的意义

1、帮助数据平台制定数据统计的标准
例如计算指标如何统一、数据口径如何统一、数据的上下游关联数据是什么、数据之间的关系如何等信息,打通了上下游数据之间的关联关系,就可以为数据质量及维护可视化奠定基础。
2、帮助数据平台了解自己本身的情况
例如我存储的数据有多大、我有哪些数据、我的数据何时产出、如何找到我所需要的数据等信息,当我们拿到这些信息后,就可以做对应的运维报警等工作。
3、标准化的图形展示
采用图形化的方式来组织页面逻辑,方便使用者所需要的关键信息。
4、快速的搜索定位
支持通过搜索引擎模糊查询、精确查询、字段查询、表名查询、备注查询等方式来查找相关数据。
5、直接关联分析工具
数据的信息直接存储在平台上,可以直接通过用报表插件来快速看到直观的报表信息,提升开发的效率。
6、积累历史数据信息
直接拉取历史数据,不需要重复计算,极大的避免了重复开发。例如针对新用户的统计,可以拉取历史用户信息,和每日用户登录日志进行关联,用于生产每日新增用户;

三、元数据平台的结构

1、数据源层
企业的元数据来自多个方面,包括数据管理平台中的元数据(数据仓库、ODS、数据湖等)、业务系统中的元数据(ERP、CRM、SCM、OA等)、数据分析工具中的元数据(Cognos、Power BI等)、数据处理工具中的元数据(ETL工具的脚本元数据)以及各种半结构化数据源(Word、PDF、Excel等各种格式化电子文件)。
2、元数据采集层
元数据采集层主要通过对各类数据源的适配,实现元数据的统一采集,并将其存储于符合CWM标准的中央元数据仓库中。元数据平台支持的各类数据源类型越多,说明元数据采集能力越强大。
3、元数据管理层
元数据管理层提供了对元数据的查询、维护、管理功能,包括元数据查询、元数据管理、
元数据变更管理、元数据版本管理、元数据适配器管理等。
4、元数据应用层
元数据应用层提供了元数据的浏览和分析功能,以指导企业数据资产管理的建设,支持数据质量的探查,促进企业数据标准的落地。功能包括元数据血统分析、企业数据地图、元数据冷热度分析、元数据影响分析、元数据模型查询、元数据全链分析等。
四、关于睿治元数据平台
睿治EsPowerMeta元数据管理平台,元数据管理内置丰富的采集适配器,端到端的自动化采集,一键元数据分析,快速理清数据资源,了解数据来龙去脉,构建数据地图,为数据标准建设和数据质量提供基础支撑。致力于处理技术元数据、业务元数据、管理元数据,帮助各行各业用户获得更多的数据洞察力,进而挖掘出隐藏在资源中的价值。
认为本内容有帮助
1
您可能需要的数据产品
亿信华辰助力政企数字化转型
customer

在线咨询