数据治理之元数据管理

接触过数据分析的小伙伴应该清楚数据治理在挖掘数据价值、促进企业业务发展等方面的重要意义。数据治理是由企业数据治理部门发起实施的一系列政策和流程，关于如何制定和实施整个企业内部数据的业务应用和技术管理。但今天我们要讨论的不是数据治理，而是企业数据治理的基础——元数据管理。

接触过数据分析的小伙伴应该清楚数据治理在挖掘数据价值、促进企业业务发展等方面的重要意义。数据治理是由企业数据治理部门发起实施的一系列政策和流程，关于如何制定和实施整个企业内部数据的业务应用和技术管理。但今天我们要讨论的不是数据治理，而是企业数据治理的基础——元数据管理。

一、元数据定义

元数据是关于数据的数据，打通了源数据、数据仓库、数据应用。记录了数据从产生到消费的全过程，包括数据仓库中模型的定义，各层级间的映射关系、监控数据仓库的数据状态以及ETL作业的任务状态。元数据可以帮助数据仓库管理员和开发人员非常方便的找到他们所关系的数据，用于指导其进行数据管理和开发工作。

 二、元数据分类

元数据可以分为业务元数据和技术元数据。
1、业务元数据
业务元数据是介于使用者和实际系统之间的语义层，使得不懂计算机技术的业务人员也能够“读懂”数据仓库中的数据。
1）数据应用元数据，如数据报表、数据产品等配置和运行元数据；
2）OneData元数据，如维度及属性、业务过程、指标等规范化定义，用于更好的管理和使用数据。
2、技术元数据
技术元数据存放关于数据仓库系统技术细节的数据，用于开发和管理数据仓库使用的数据。
1）分布式计算系统元数据，包含作业信息、作业类型、实例名称、输入输出、SQL、运行参数、执行时间、最细粒度的执行信息等；
2）分布式存储系统元数据，包含表、列、分区等信息。记录了表名、分区信息、责任人信息、文件大小、表类型、生命周期，以及字段名、字段类型、备注、是否分区字段等信息；
3）数据质量和运维相关元数据，如任务监控、运维报警、数据质量、故障等信息，包含任务监控运行日志、告警配置及运行日志、故障信息等；
4）数据开发平台中的数据同步、计算任务、任务调度等信息，包含数据同步的输入输出表和字段，以及同步任务本身的节点信息。

 三、元数据管理对企业的价值

元数据是数据仓库管理系统的重要组成部分。元数据管理是企业级数据仓库的关键组成部分，贯穿数据仓库的整个生命周期，利用元数据驱动数据仓库的开发，使数据仓库自动化、可视化。通过元数据管理，可以缩短数据清理周期，提高数据质量，系统管理数据中心项目中各业务系统的海量数据，梳理业务元数据之间的关系，建立信息数据标准，完善对这些数据的解释和定义，在企业范围内形成一致统一的数据定义，跟踪分析这些数据来源、运行和变化。

 四、元数据管理范围及方法

元数据管理的范围大致如下四个方面：
1、元数据源：元数据源数据仓库和数据平台中的数据实体定义和结构信息；
2、数据接口：生产系统和操作型系统中采集到数据仓库或者数据平台中的各中数据接口信息；
3、报表展现（BI）：报表展现的相关指标和统计口径；
4、数据集成（ETL）：数据汇总、处理和分析的数据集成相关信息。

五、元数据管理工具
元数据管理有利于统一数据口径，标记数据方向，分析数据关系，为企业级数据治理提供支持。是企业实现数据自我服务、促进数据运营的可行路线。想要实现有效的元数据管理可以借助元数据管理工具，亿信睿治元数据管理平台就非常优秀。
睿治元数据管理平台可以进行影响分析和血缘分析。例如，通过影响分析，可以识别当源数据项发生变化时，哪些KPI和报告会受到影响；通过血缘分析，可以从某一实体出发，往回追溯其处理过程，直到数据源接口，可快速追溯数据来源和加工过程，从而实现应用系统的维护和运行。
通过以上分析，相信大家对元数据管理、元数据与数据管理的关系有了一定的了解。元数据管理是企业数据治理的基础，其重要性不容忽视。企业要实现有效的数据管理，可以适当使用元数据管理工具。一个优秀的元数据管理工具对企业的业务运营具有重要意义。