首页 行业百科 数据治理之元数据管理

数据治理之元数据管理

|亿信华辰大数据知识库2022-07-31

数据治理之元数据管理

元数据(Meta Date),关于数据的数据或者叫做用来描述数据的数据或者叫做信息的信息。这些定义都很是抽象,我们可以把元数据简单的理解成,最小的数据单位。元数据可以为数据说明其元素或属性(名称、大小、数据类型、等),或其结构(长度、字段、数据列),或其相关数据(位于何处、如何联系、拥有者)。

一、什么是元数据?

元数据(Meta Date),关于数据的数据或者叫做用来描述数据的数据或者叫做信息的信息。这些定义都很是抽象,我们可以把元数据简单的理解成,最小的数据单位。元数据可以为数据说明其元素或属性(名称、大小、数据类型、等),或其结构(长度、字段、数据列),或其相关数据(位于何处、如何联系、拥有者)。


二、元数据分类
1、业务元数据
主要包括业务术语、信息分类、指标定义、业务规则等。
2、技术元数据
数据结构、数据处理细节方面的技术化描述,主要包括源系统接口规范、数据仓库结构的描述(接口信息、表信息、程序信息等)以及经营分析数据处理过程的描述等。
3、管理元数据
主要包括人员角色、岗位职责、管理流程等信息。
4、安全元数据
主要包括访问安全、权限控制、分级管理、隐私控制、流程约束等信息。
5、稽核元数据

主要包括数据完整性和一致性检查、数据采集日志追踪、稽核规则、稽核流程、预警通知规则(数据质量)等信息。


三、元数据的作用
元数据是网络信息资源描述的重要工具,可以用于网络信息资源管理的各个方面,包括信息资源的建立、发布、转换、使用、共享等。
1、定位作用:由于网络信息资源没有具体的实体存在,因此,明确它的定位至关重要。元数据包含有关网络信息资源位置方面的信息,因而由此便可确定资源的位置之所在,促进了网络环境中信息对象的发现和检索。此外,在信息对象的元数据确定以后,信息对象在数据库或其他集合体中的位置也就确定了,这是定位的另一层含义。
2、描述作用:根据元数据的定义,它最基本的功能就在于对信息对象的内容和位置进行描述,从而为信息对象的存取与利用奠定必要的基础。
3、评估作用:元数据提供有关信息对象的名称、内容、年代、格式、制作者等基本属性,使用户在无需浏览信息对象本身的情况下,就能够对信息对象具备基本了解和认识,参照有关标准即可对其价值进行必要的评估,作为存取利用的参考。
4、选择作用:根据元数据所提供的描述信息,参照相应的评估标准,结合使用环境,用户便能够做出对信息对象取舍的决定,选择适合用户使用的资源。

5、搜寻作用:元数据提供搜寻的基础,在著录的过程中,将信息对象中的重要信息抽出并加以组织,赋予语意,并建立关系,使检索结果更加准确,从而有利于用户识别资源的价值,发现其真正需要的资源。


四、元数据管理的难点
1、元模型的构建
元模型其核心结构要稳定,因为元数据的建设不是一蹴而就的,需要慢慢地积累和演变,因此存储元数据的元模型结构一定要抽象出稳定的结构,比如:针对关系抽象出组合关系和依赖关系,针对模型要抽象出每一类型元数据父类或基类以方便其灵活扩展。
2、元数据间的关系
从元数据应用的角度来看,光分析元数据的结构对数据分析人员和数据应用的价值还不是那么突出。元数据管理的价值主要在其关系的丰富程度,举个不恰当的例子,犹如一个人,如果其社会关系足够丰富,那么其处理各种事情就游刃有余,元数据也类似数据分析和应用,一定是从其关系中探寻出数据的价值,进而知道业务或进行数据创新,从长期的实践中发现,基于信息项或字段的元数据关系构建是最稳定的。
3、数据识别

要确定要管理哪些元数据,按元数据的定义来看,只要能描述数据的数据都能作为元数据进行管理,但从价值角度讲一定要找到对数据业务、数据运维、数据运营、数据创新带来帮助的元数据进行管理,避免眉毛胡子一把抓。一般企业元数据建设都是围绕着源系统、数据平台、数据集市、数据应用中的数据模型、数据库、表、字段、报表(指标存储字段)、字段和字段间的数据关系进行管理。围绕这条主线,进一步胡管理业务元数据和操作元数据。在建设过程中要围绕本企业数据管理问题域进行虚实结合的建设。


五、元数据管理方式
元数据管理有两种方式。集中式管理和分布式管理。集中式管理是指在系统中有一个节点专门司职元数据管理,所有元数据都存储在该节点的存储设备上。所有客户端对文件的请求前,都要先对该元数据管理器请求元数据。分布式管理是指将元数据存放在系统的任意节点并且能动态的迁移。对元数据管理的职责也分布到各个不同的节点上。大多数集群文件系统都采用集中式的元数据管理。因为集中式管理实现简单,一致性维护容易,在一定的操作频繁度内可以提供较满意的性能。缺点是单一失效点问题,若该服务器失效,整个系统将无法正常工作。而且,当对元数据的操作过于频繁时,集中的元数据管理成为整个系统的性能瓶颈。分布式元数据管理的好处是解决了集中式管理的单一失效点问题, 而且性能不会随着操作频繁而出现瓶颈。其缺点是,实现复杂,一致性维护复杂,对性能有一定影响。
六、元数据管理工具
睿治元数据管理平台致力于处理技术元数据、业务元数据、管理元数据,帮助各行各业用户获得更多的数据洞察力,进而挖掘出隐藏在资源中的价值。
1、平台内置丰富的适配器,全面保障各类源头的元数据自动化采集,一键采集对接,同时可支持适配器快速扩展。
2、元数据的应用都基于元模型。亿信元数据管理平台(EsPowerMeta)中的元模型支持CWM(公共仓库元模型)规范的同时,提供了一套便捷的自定义管理接口功能,可完全自定义扩展,能够满足元数据管理快速实施的需要,可适应用户在不同时期的不同管理需要。
3、亿信元数据管理平台(EsPowerMeta)提供了完善的元模型和元数据维护功能,采用多种方式简化元数据维护的复杂性。系统支持元数据的自动获取和时间调度管理,支持手工创建和变更元数据,并配合版本管理,能完整存储元数据整个生命周期动态和变化,方便用户跟踪业务运作的历史数据。
认为本内容有帮助
0
您可能需要的数据产品
亿信华辰助力政企数字化转型
customer

在线咨询