首页 亿信华辰大数据知识库 什么是元数据?元数据管理的内容是什么?

什么是元数据?元数据管理的内容是什么?

|亿信华辰大数据知识库2022-04-06

什么是元数据?元数据管理的内容是什么?

任何文件系统中的数据分为数据和元数据。数据是指普通文件中的实际数据,而元数据指用来描述一个文件的特征的系统数据,诸如访问权限、文件拥有者以及文件数据块的分布信息等等。在集群文件系统中,分布信息包括文件在磁盘上的位置以及磁盘在集群中的位置。

一、什么是元数据
任何文件系统中的数据分为数据和元数据。数据是指普通文件中的实际数据,而元数据指用来描述一个文件的特征的系统数据,诸如访问权限、文件拥有者以及文件数据块的分布信息等等。在集群文件系统中,分布信息包括文件在磁盘上的位置以及磁盘在集群中的位置。用户需要操作一个文件必须首先得到它的元数据,才能定位到文件的位置并且得到文件的内容或相关属性。元数据包括业务元数据、技术元数据和管理元数据。
常见的技术元数据包括:存储位置、数据模型、数据库表、字段长度、字段类型、ETL脚本、SQL脚本、接口程序、数据关系等;
常见的管理元数据包括:数据所有者、数据质量定责、数据安全等级等;
常见的业务元数据包括:业务定义、业务术语、业务规则、业务指标等。
二、什么是元数据管理
元数据管理包括业务词汇表的发展,数据元素和实体的定义,业务规则和算法以及数据特征。最基础的管理是管理业务元数据的收集、组织和维持。对技术型元数据的应用,对主数据管理和数据治理项目的成功至关重要。简单来说就是针对数据全生命周期的管理,例如数据的业务定义数据来源,数据技术定义(类型,值域,默认值,枚举值等),数据血缘,数据进行了怎样的ETL,在ETL过程中应用了那些规则,数据质量如何(包括但不限于真实性、完整性、有效性、合规性),数据被谁消费了,如何消费的,以及数据是何时销毁或归档等等。当企业内容数据较少或者数据不要在同一个层面上汇总分析时,元数据管理用处有限。但是在大数据以及数据驱动创新的背景下,元数据管理就显得非常重要了。
三、元数据管理价值
元数据管理平台为用户提供高质量、准确、易于管理的数据,它贯穿数据中心构建、运行和维护的整个生命周期。同时,在数据中心构建的整个过程中,数据源分析、ETL过程、数据库结构、数据模型、业务应用主题的组织和前端展示等环节,均需要通过相应的元数据的进行支撑。
通过元数据管理,形成整个系统信息数据资的准确视图,通过元数据的统一视图,缩短数据清理周期、提高数据质量以便能系统性地管理数据中心项目中来自各业务系统的海量数据,梳理业务元数据之间的关系,建立信息数据标准完善对这些数据的解释、定义,形成企业范围内一致、统一的数据定义,并可以对这些数据来源、运作情况、变迁等进行跟踪分析。
四、元数据管理方式
元数据管理有两种方式。分布式管理和集中式管理。
分布式管理是指将元数据存放在系统的任意节点并且能动态的迁移。分布式元数据管理的好处是解决了集中式管理的单一失效点问题,而且性能不会随着操作频繁而出现瓶颈。其缺点是,实现复杂,一致性维护复杂,对性能有一定影响。
集中式管理是指在系统中有一个节点专门司职元数据管理,所有元数据都存储在该节点的存储设备上。所有客户端对文件的请求前,都要先对该元数据管理器请求元数据。对元数据管理的职责也分布到各个不同的节点上。大多数集群文件系统都采用集中式的元数据管理。因为集中式管理实现简单,一致性维护容易,在一定的操作频繁度内可以提供较满意的性能。缺点是单一失效点问题,若该服务器失效,整个系统将无法正常工作。而且,当对元数据的操作过于频繁时,集中的元数据管理成为整个系统的性能。

五、关于亿信华辰元数据管理平台

亿信华辰元数据管理平台内置多种采集适配器,支持多种存储格式的元数据自动获取,如:数据库、报表工具、ETL工具、文件系统等,同时无法完成自动获取的元数据,提供了可自定义的元数据采集模版完成元数据的批量导入。同时,亿信华辰元数据管理平台提供各类元数据管理,包括:业务元数据、技术元数据和管理元数据,支持元数据的基本信息、属性、依赖关系、组合关系的增删改查操作。最新元数据和定版元数据隔离,在最新元数据中的改动不影响定版元数据的正常使用,同时每次发布都有版本留痕,支持各版本的对比分析。


点击查看更多关于元数据管理内容:

企业如何选择元数据管理工具

如何理解元数据管理

数据治理的基础领域

认为本内容有帮助
0
您可能需要的数据产品
亿信华辰助力政企数字化转型

预约演示

您好,商务咨询请联系

咨询热线:400-0011-866