一、什么是元数据
元数据(Meta Date),即关于数据的数据或者叫做用来描述数据的数据或者叫做信息的信息。我们可以把元数据简单的理解成,最小的数据单位。元数据可以为数据说明其元素或属性(名称、大小、数据类型、等),或其结构(长度、字段、数据列),或其相关数据(位于何处、如何联系、拥有者)。
二、元数据的特点
①元数据是与对象相关的数据,此数据使其潜在的用户不必先具备对这些对象的存在和特征的完整认识。
②元数据是关于数据的结构化的数据,它不一定是数字形式的,可来自不同的资源。
③元数据包含用于描述信息对象的内容和位置的数据元素集,促进了网络环境中信息对象的发现和检索。
④元数据是对信息包裹(Information Package)的编码的描述。
⑤在信息对象或系统的生命周期中自然增加元数据。
⑥元数据常规定义中的“数据”是表示事务性质的符号,是进行各种统计、计算、科学研究、技术设计所依据的数值,或是说数字化、公式化、代码化、图表化的信息。
⑦元数据不仅对信息对象进行描述,还能够描述资源的使用环境、管理、加工、保存和使用等方面的情况。
三、元数据管理的价值
元数据管理平台为用户提供高质量、准确、易于管理的数据,它贯穿数据中心构建、运行和维护的整个生命周期。同时,在数据中心构建的整个过程中,数据源分析、ETL过程、数据库结构、数据模型、业务应用主题的组织和前端展示等环节,均需要通过相应的元数据的进行支撑。
通过元数据管理,形成整个系统信息数据资的准确视图,通过元数据的统一视图,缩短数据清理周期、提高数据质量以便能系统性地管理数据中心项目中来自各业务系统的海量数据,梳理业务元数据之间的关系,建立信息数据标准完善对这些数据的解释、定义,形成企业范围内一致、统一的数据定义,并可以对这些数据来源、运作情况、变迁等进行跟踪分析。
四、元数据分类
元数据一共分为3个大类:业务元数据、管理元数据、技术元数据。
1、业务元数据
1)模型元数据:数据建模,是一种对业务的描述,通过模型可更好地了解业务。常见的建模方式有范式模型、维度模型、多维建模等;
2)应用元数据:描述数据应用类的元数据;
3)分析元数据:从数据分析角度,描述业务的元数据。
2、管理元数据
描述企业内部,数据管理相关内容。
3、技术元数据
1)物理元数据:描述物理资源的元数据,包括但不限于服务器、操作系统、机房位置等信息;
2)数据源元数据:描述数据源的元数据;
3)存储元数据:描述对象存储的元数据,也是通常"狭义"上的元数据;
4)计算元数据:描述数据计算过程的元数据,通常可分为数据抽取(ETL)或数据加工(JOB)两类计算;
5)质量元数据:描述数据质量的一类元数据。通常情况下,是通过定义一系列质量指标反映数据质量;
6)操作元数据:描述数据是如何进行使用的一类元数据;
7)运维元数据:描述系统运维层面的元数据,通常包括任务类、报警类及故障类;
8)成本元数据:描述数据存储及计算成本的元数据;
9)标准元数据:描述数据标准化内容的元数据;
10)安全元数据:描述数据安全内容的元数据;
11)共享元数据:描述数据是如何共享的部分,包括接口方式、格式、内容等。