数据分类与主数据概念数据分类与主数据概念

徘徊的爱

2022-12-14

在理解主数据、解决数据问题之前，首先，我们要明确到底有哪些数据或哪几类数据？当然，数据按照不同维度、不同语境可以分为不同的类，比如结构化和非结构化化、交易和非交易数据、行业数据和公司数据等。从数据治理或信息化项目的角度，数据一般分为：数据元、元数据、主数据、参考数据、常规数据等。

数据（data）：根据《信息技术数据元的规范和标准化》(GB/T18391.1-2002)，数据是指对事实、概念或指令的一种形式化标示，适用于以人工或自动方式进行通信、解释和处理。

数据元（data element）指用一组属性描述定义、标识、表示和允许值的数据单元。在特定的语境中，可以认为是不可再分的最小数据单元，也可以直观理解为数据库表的列，对象、特征、表达是数据元的三要素，比如“今天股市收盘是2500点”数据元，其中“今天股市”就是对象，“收盘”是特性，“2500”是表达。

元数据（MetaData）指描述数据的数据，也指帮助查找、存取、使用和管理信息资源的信息。为便于理解元数据和数据元，作者举个例子，比如我们要向中证金融报送两融数据，数据报送接口规范中有许多表，每个表有许多列，每个列有填报要求比如类型、是否为空。每个填报字段可以认为是数据元，而每个填报字段的填报要求可以认为是该字段的元数据，而每个字段可以认为是该表的元数据。也即数据元和元数据本身也是数据，在不同的上下文有不同的定义和理解，本身都是个相对的概念，意识到这点才能很好理解两者的关系。现实中，元数据常见用于描述数据库中所有数据的语境，而数据元通常用在行业标准制定。

参考数据（reference data）指数据可能的取值范围及其解释，也即我们常说的数据字典。数据字典虽然很好理解，但行业现实中，由于每个系统有不同的数据字典，甚至同一系统内也有不同数据字典，而且没有统一标准，间接造就了大量的数据孤岛，也需要加强治理。

常规数据（作者自己定义），是与每日业务开展或每个业务人员最为关注的那些数据，比如交易、审计、采购订单、销售订单、报表等等数据，

主数据（master data），通常是不随或很少随时间变化的静态数据，并且与个体活动或流程无关，比如客户、证券标的、金融产品、会计科目等信息，这些信息构成了公司的业务。主数据掌控交易数据如何被处理并决定着决策的精准度。主数据管理，本质上是各业务人员利用IT工具进行协作，来协调、清理、发布和保护企业需要共享的数据资产，保证企业核心信息的一致、准确和安全。主数据也是大数据建设中的重点内容

元数据和参考数据一般与系统或数据库底层设计有关，相对变化频率非常低；而主数据与技术有关，与业务关系更为密切，相对变化频率较低，也是常规数据的基础；而常规数据则变化频繁，只要展业基本都会累加，且实时性要求较高。基于以上分类和分析，作者认为，由于主数据与业务联系紧密且是一般数据基础，加上又有一定变化（频率很低），数据治理的重点领域是上述四类数据中的主数据，这应该也是SAP、ORACLE等国际巨头反复打磨并推出主数据管理解决方案的原因。