首页 亿信华辰大数据知识库 关于如何进行元数据管理

关于如何进行元数据管理

|亿信华辰大数据知识库2022-07-31

关于如何进行元数据管理

元数据(Metadata)是关于数据的数据。元数据是描述数据仓库内数据的结构和建立方法的数据。可将其按用途的不同分为两类:技术元数据(Technical Metadata)和业务元数据(Business Metadata)。

一、什么是元数据

元数据(Metadata)是关于数据的数据。元数据是描述数据仓库内数据的结构和建立方法的数据。可将其按用途的不同分为两类:技术元数据(Technical Metadata)和业务元数据(Business Metadata)。


二、元数据类型

元数据可分为技术元数据、业务元数据和管理过程元数据。
技术元数据为开发和管理数据仓库的 IT 人员使用,它描述了与数据仓库开发、管理和维护相关的数据,包括数据源信息、数据转换描述、数据仓库模型、数据清洗与更新规则、数据映射和访问权限等。
业务元数据为管理层和业务分析人员服务,从业务角度描述数据,包括商务术语、数据仓库中有什么数据、数据的位置和数据的可用性等,帮助业务人员更好地理解数据仓库中哪些数据是可用的以及如何使用。

管理过程元数据指描述管理领域相关的概念、关系和规则的数据,主要包括管理流程、人员组织、角色职责等信息。


三、元数据管理内容
1、元数据统计
用于统计各类元数据的数量,如各部门提供的各类数据的种类,各部门数据被使用的冷、热度等,方便用户掌握大数据平台中元数据的汇总信息。元数据统计的展现方式有报表,图形等直观的方式。
2、元数据查询
元数据系统采用树形方式来统一展示元数据信息,层级结构清晰,便于用户直观了解元数据组织结构。但由于元数据来源繁多,数量巨大,很难快速地精准定位到用户所关心的特定的元数据信息。自助式元数据查询为用户提供直观简洁的界面,用户根据自定义搜索条件,查询符合该用户访问权限的所有元数据信息,以列表的形式展现出来,支持模糊查询。
3、元数据变更管理
主要是在线对元数据进行变更,如对属性值进行修改,对变更历史和变更明细进行查询,对变更前后进行差异比对。
4、元数据版本管理

元数据版本管理用于管理元数据的版本发布,以及基于版本的元数据查看、比对等操作,通过版本管理功能,用户可以更清晰了解元数据的版本变更历史,掌握元数据生命周期,提升了后续使用元数据的可靠性。


四、元数据管理难点
元数据是业务和科技互通的桥梁,是数据治理的重要组成部分。因此元数据建设的好坏对金融企业整体数据以及管理带来重要的影响。我们认为元数据管理有三个难点:
1、元模型的构建
元模型其核心结构要稳定,因为元数据的建设不是一蹴而就的,需要慢慢地积累和演变,因此存储元数据的元模型结构一定要抽象出稳定的结构,比如:针对关系抽象出组合关系和依赖关系,针对模型要抽象出每一类型元数据父类或基类以方便其灵活扩展。
2、元数据间的关系
从元数据应用的角度来看,光分析元数据的结构对数据分析人员和数据应用的价值还不是那么突出。元数据管理的价值主要在其关系的丰富程度,举个不恰当的例子,犹如一个人,如果其社会关系足够丰富,那么其处理各种事情就游刃有余,元数据也类似数据分析和应用,一定是从其关系中探寻出数据的价值,进而知道业务或进行数据创新,从长期的实践中发现,基于信息项或字段的元数据关系构建是最稳定的。
3、数据识别

要确定要管理哪些元数据,按元数据的定义来看,只要能描述数据的数据都能作为元数据进行管理,但从价值角度讲一定要找到对数据业务、数据运维、数据运营、数据创新带来帮助的元数据进行管理,避免眉毛胡子一把抓。一般企业元数据建设都是围绕着源系统、数据平台、数据集市、数据应用中的数据模型、数据库、表、字段、报表(指标存储字段)、字段和字段间的数据关系进行管理。围绕这条主线,进一步胡管理业务元数据和操作元数据。在建设过程中要围绕本企业数据管理问题域进行虚实结合的建设。


五、元数据管理方案
1、元数据采集
技术元数据的采集,根据现有元数据设计出元模型,然后将数据仓库系统之中的元数据按元模型集中汇总并关联到一起,达到企业对数据统一管理与应用的目的,ETL等产生的元数据,对于元数据管理工具支持的格式可直接进行导入,对于一些自定义的规则,需要进行格式转换并导入。
业务元数据相对复杂,来源较广泛且不统一,需要对业务系统进行深入理解,按业务主题进行整理,梳理出业务范围、业务名称 、业务定义、业务描述、业务关系等,并添加到元数据管理系统中。主要从以下几方面来进行梳理:
1)交易、结算系统,提取出各种财务公式、过程逻辑、业务规则等。
2)业务平台中的各业务流程。
3)表格,在Excel中进行业务计算的公式,列的描述、代码描述等。
4)文件数据中的标题、作者、时间、内容主题等。
5)报表系统,比如表头,包含合计、平均数等聚合函数的列,一些计算公式等。
2、存储管理
对元数据存储需要使用专门的工具,拟定为(还需要做充分调研)Pentaho Metadata进行存储管理。通过工具与数据库系统的对接,将元数据导致进去,对于不支持系统对接的元数据,可手动进行添加。通过管理工具提供的辅助功能可对元数据进行标注、完善等。
六、元数据管理工具
亿信睿治数据治理平台元数据管理内置近30种采集适配器,基本支持所有的主流数据库的元数据采集,并且可自定义元模型,采集文件数据源的元数据;数据质量管百思特网理内置13中质量检查规则,满足各个场景的质检需求,是笔者目前见过最完善的数据质量管理平台。
亿信元数据管理系统拥有丰富健全的元数据采集机制,支持多种适配器模式,用户可以选择相应的采集适配器,从所需的数据库源中定义采集任务,获取到用户所需的元数据,系统支持多种数据库的数据采集,具有良好的兼容性。
元数据分析模块采用了图形的方式展示元数据的血缘分析和影响分析,能直观展示出向上追溯元数据对象的数据来源,向下寻找依赖该元数据的元数据或实体,能快速分析元数据变化时所带来的影响。更有全链分析来对对应元数据寻找前后有关联的所有元数据。数据分析模块还拥有数据地图,关联度分析,属性差异值分析能以拓扑图展示元数据的层次,提供元数据的关系层次,对比同类元数据的属性差异。通过多方面的分析能较全面的展示元数据之间的关联,深层次对元数据进行分析。
认为本内容有帮助
0
您可能需要的数据产品
亿信华辰助力政企数字化转型