首页 行业百科 元数据管理在数据仓库中的应用

元数据管理在数据仓库中的应用

|亿信华辰大数据知识库2022-02-21

元数据管理在数据仓库中的应用

元数据(Metadata)是关于数据的数据。主要记录数据仓库中模型的定义、各层级间的映射关系、监控数据仓库的数据状态及 ETL 的任务运行状态。ETL是构建数据仓库的主要步骤之一。元数据定义了源数据系统到数据转换的规则、数据仓库的映射、数据更新的规则、数据仓库的逻辑结构、装载周期以及数据导入历史记录等相关内容。数据抽取和转换的专家以及数据仓库管理员正是通过元数据高效地构建数据仓库。

一、元数据的定义
元数据(Metadata)是关于数据的数据。主要记录数据仓库中模型的定义、各层级间的映射关系、监控数据仓库的数据状态及 ETL 的任务运行状态。ETL是构建数据仓库的主要步骤之一。元数据定义了源数据系统到数据转换的规则、数据仓库的映射、数据更新的规则、数据仓库的逻辑结构、装载周期以及数据导入历史记录等相关内容。数据抽取和转换的专家以及数据仓库管理员正是通过元数据高效地构建数据仓库。元数据是数据仓库管理系统的重要组成部分,在数据仓库系统中,元数据可以帮助数据仓库管理员和数据仓库的开发人员非常方便地找到他们所关心的数据;一般会通过元数据资料库(Metadata Repository)来统一地存储和管理元数据,其主要目的是使数据仓库的设计、部署、操作和管理能达成协同和一致。元数据管理是企业级数据仓库中的关键组件,贯穿了数据仓库的整个生命周期,使用元数据驱动数据仓库的开发,使数据仓库自动化,可视化。

二、元数据的作用
1、帮助用户理解数据
元数据可以实现业务模型与数据模型之间的映射,因而可以把数据以用户需要的方式“翻译”出来,从而帮助最终用户理解和使用数据。
2、数据集成
数据仓库最大的特点就是它的集成性。这一特点不仅体现在它所包含的数据上,还体现在实施数据仓库项目的过程当中。一方面,数据源与数据仓库中数据的对应关系及转换规则都要存储在元数据知识库中;另一方面,在建立数据集市的过程中,注意了元数据管理,在集成到数据仓库中时就会比较顺利;相反,如果忽视了元数据管理,那么最后的集成过程就会很困难,甚至不可能实现。
3、支持需求变化
元数据管理系统可以把整个业务的工作流、数据流和信息流有效地管理起来,使得系统不依赖特定的开发人员,从而提高系统的可扩展性。
4、保证数据质量的关键
用户可以通过元数据管理系统,了解各个数据的来龙去脉以及数据抽取和转换的规则;也可便捷地发现数据所存在的质量问题。

三、元数据应用
1、数据质量管理:定义数据质量规则对元数据进行数据质量测量。智能分析数据质量缺陷,过滤出有问题的数据,。
2、ETL自动化管理:使用元数据信息自动生成ETL程序脚本,物理模型,调度程序和任务依赖关系。
3、数据标准管理:使用元数据信息生成标准的维度模型。
4、数据安全管理:使用元数据信息进行报表权限控制。可以方便查看用户和访问权限,并启用对象级和行级安全管理。确保通过身份验证的用户只可以访问表中特定的数据。
5、项目文档管理:使用元数据可以自动、方便的生成的健壮全面的项目文档,帮助用户应对各种对于数据合规性要求。
6、数据语义管理:使用元数据可以语义层建模,帮助业务用户自助分析不了解的数据仓库,正确解释数据,使用易于业务用户理解的描述来转换数据。
7、数据接口管理:使用元数据信息进行接口统一管理。多种数据源接入,并提供多种插件对接最流行的源系统,简单方便获取数据。

四、睿治元数据管理平台

亿信华辰自主研发的睿治元数据管理平台致力于处理技术元数据、业务元数据、管理元数据,帮助各行各业用户获得更多的数据洞察力,进而挖掘出隐藏在资源中的价值。该平台可以准确定位目标元数据,智能获取元数据,管理维护便捷;全面支持各类采集适配器;内置可扩展元模型,满足不同管理需求;还支持图形化分析,快速理清元数据关系。睿治元数据管理平台是目前国内支持全中文内核元数据管理的为数不多的产品之一,具有自主知识产权,已成功实施于多家银行和政府机构,同时适用于业务用户、技术用户和运维管理用户。
认为本内容有帮助
0
您可能需要的数据产品
亿信华辰助力政企数字化转型
customer

在线咨询