睿治

智能数据治理平台

睿治作为国内功能最全的数据治理产品之一,入选IDC企业数据治理实施部署指南。同时,在IDC发布的《中国数据治理市场份额,2022》报告中,蝉联数据治理解决方案市场份额第一。

带你速览主数据管理(MDM)的前世今生

时间:2022-11-04来源:主数据管理浏览数:358

主数据管理的历史可以追溯到很久以前,可以说主数据管理是生产生活的一部分。随着社会生产力和生产工具的不断发展,主数据和主数据管理在其中的作用不断提升,成为当今政府、企业和社会团队等组织管理中必不可少基础管理工作,同时也促进了主数据管理工具的发展和升级。

主数据管理简史
通常在讨论某个主题之前,都有必要先了解相关历史。同样,在讨论主数据之前,我们先来了解一下主数据的历史。

最早的主数据管理的主体是人,主要的目的是收“人头税”。因此,人是最基本的主数据。

主数据 通常被描述为关于人、地点和事物的基本业务数据。主数据通常不是交易数据,但在某些情况下,交易数据可以被视为主数据,例如,如果有关产品、供应商,以及供应商的详细信息,仅仅包含在交易数据(订单和收据)中,则必须将其用作主数据。主数据管理描述了一种用于管理数据的系统,这个系统是宏观的系统(不是特指计算机系统),也不同于实际数据。

但是,在主数据和交易数据被区分之前,广义的数据就已经存在了。而要了解这段历史,我们必须先回溯过去。

数据的定义
在1640年代,无论是来自圣经还是科学研究,数据,即数据的单数形式,通常是指用作计算数学问题基础的事实。

1890年,赫尔曼·何乐礼(Herman Hollerith)设计了穿孔卡片系统,用于计算1880年美国人口普查数据。他在三年内完成了这个目标,为美国政府节省了 500 万美元。他之后还创立了IBM的前身。

当时的所有数据,包括后来被称为主数据的数据,都存储在穿孔卡片上。随着美国人口的增长,数据存储变得更具挑战性。于是,何乐礼选择将数据分类为静态和动态,建立了基本主数据与交易数据分类系统。随着计算机的进步,它们从打孔卡转移到磁带,然后转移到基于磁盘的存储。

赫尔曼·何乐礼(Herman Hollerith)

1939年,威拉德·科普·布林顿 (Willard Cope Brinton) 出版了《图形演示(Graphic Presentation)》,“数据(data)”一词开始流行。在他的书中,术语“数据”被用来描述从科学观察或统计结果中获得的结构化测量。

1946年,“数据”的定义进一步扩展,用于描述“可以使用计算机传输和存储的信息”。1954年,出现了“数据处理(data processing)”,1962 年出现了“数据库(database)”(计算机中数据的结构化存储)。如果没有穿孔卡,就不可能有“数据”后来的扩展定义和新用途。

中国现代的数据管理,尤其是企业数据管理,可以说是与信息化建设一同起步的,所以很多人对于数据的理解往往局限在计算机系统存储的数据。其实上一个时代的“经营计划管理”的主体就是数据,但这些数据主要关注的是“数字”,而非数字统计的主体——主数据。

主要的数据

1960年代,数据管理最初是由美国的数据处理服务组织协会(ADAPSO,Association of Data Processing Service Organizations)提出的一个概念,它转发有关数据管理的建议,重点是质量保证和专业培训。

主数据是1980年代数据管理程序出现的结果,包括主数据管理 (MDM)。

主数据可以描述为组织的核心数据,包含开展业务所需的基本信息。这是相当稳定的信息,仅在发生重大事件时才会发生变化,例如客户搬到新地点。尽管主数据可以描述事务,但它在设计上不是事务性的。

早期的主数据通常涵盖四个域,这些域可细分为子域、实体类型或主题领域。主数据的四个一般域是:

客户:子域包括客户、员工和销售人员。
产品:子域包括零件、商店和资产。
位置:子域包括办公位置和地理分区。
其他:子域包括保修、许可和合同等内容。
一些子域可以进一步划分。例如,可以根据“普通客户”和“执行客户”等分类,或根据他们的历史来进一步划分客户。产品可以按部门和行业划分。地理区域可以进一步细分为销售区域或客户集中度。

可用的分析和研究取决于主数据的准确性。主数据可以使用中央存储库存储,来自单个或多个系统,或通过索引集中引用。但是,当它被多个组织使用时,主数据可以在整个组织的各种应用程序中分发和冗余存储。此时,复制的数据可能不一致(或不准确),为了解决这个问题,主数据应该使用在整个组织中共享的统一视图,而且应注意确保正确归档主数据的准确版本。策划和管理准确的主数据对于最大限度地减少混乱和最大限度地提高效率是必要的。

在交易系统中,主数据通常与交易数据一起使用。当客户购买产品或交付一箱材料时,将使用主数据。具有特定位置的产品将使用主数据来描述其在商店中的摆放位置。交易数据和主数据之间的关系可以看作是名词/动词关系。主数据捕获名词,例如“广中西路555号”或“宝华国际广场”,而交易数据捕获动词词,例如“交付”、“购买”或“销售”。数据仓库通常使用这种策略来分离数据。

数据管理应用系统通常需要对主数据进行管理,这被称为主数据管理 (MDM,Master Data Management)。MDM的使用为整个组织提供了通用定义,其目标是消除相互矛盾的或模糊的数据,并为组织提供统一、准确的数据。

主数据管理

主数据管理在1990年代开始使用,部分原因是为了解决计算机系统需要输入大量杂乱无章的数据的问题。

此时也恰逢新的监管措施的实施,例如萨班斯-2002年奥克斯利法案(一项为上市公司制定财务和审计法规的联邦法律)和偿付能力 II 指令(欧盟指令,整合和协调欧盟保险法规)。

在对新组织计划和新法律的需求的推动下,不少组织迅速采用了 MDM 技术。在工信部发布的《大数据产业发展规划(2016-2020年)》中,重点提到了“数据资源开放共享程度低,数据质量不高,数据资源流通不畅,管理能力弱,数据价值难以被有效挖掘利用”。其中的数据质量不高主要由主数据管理能力不足导致,因此提升主数据管理水平成为重点。根据规划,从2016年开始,政府层面开始提升主数据管理的重要性;在企业层面,随着专业的业务应用系统部署完成,主数据的统一、共享成为未来目标。

MDM是一种向组织提供指向其在一个文件中的所有基本数据的链接的方法,该文件称为主文件或主数据文件,它提供了一个通用参考平台。只要操作得当,主数据管理就可以简化人员和部门之间的数据共享。

在中国,1990年代后,尤其是2001年加入世贸组织后,中国也逐渐进入了世界经济体系。先进的管理方法和经验,以及先进的信息技术得以在国内广泛应用。

在欧美,管理电子化和信息化是一个工具升级的过程,是将已经成熟的管理方法、管理实践、管理经验通过新的工具平台再次实现。比如主数据从记录在纸质的联系卡片上,迁移到了电子计算机上。这个电子化的过程,将长期的、丰富的企业管理经验都逐步沉淀在了电子计算机中,包括后来的数据库、应用软件、企业资源计划系统、客户关系管理系统等。

早期甘特图

中国制造业的管理方法与欧美地区有较大的差异。改革开放后,新的管理方法随着对外交流、外资和合资企业的建立进入中国,信息化建设和信息系统才被引入中国。

主数据是每一个信息系统中必备的组成基础数据。因此,真正的主数据的概念,是通过信息化系统的引入和部署,带给中国企业和企业管理人员的。这让很多人产生了误解——“现代化的管理必须要有信息系统”。

实际上,信息系统只是将已有的管理方法、管理实践、管理经验通过信息化的手段表现出来而已,没有电子计算机的信息化手段,这些管理方法、管理实践、管理经验也是在实际管理中应用的。

1980年代,中国开始改革开放,先进的管理思想进入中国。自沈阳第一机床厂从联邦德国工程师协会引进MRPⅡ系统,物料(Item)主数据的管理就已经开始了。

主数据管理(MDM)在1990年代,随着信息系统在中国的逐步推广和使用而进入大家的视野。因此在中国,主数据管理带有原生的信息系统属性。在上世纪九十年代,主数据管理集中在单应用的基础数据管理层面,主要为某一个应用提供基本的数据,如,我们经常会听到的“会计电算化”,其中就需要管理会计科目主数据。

随着信息化建设逐步开展,尤其是2001年中国加入世界贸易组织(WTO,World Trade Organization)后,全球化浪潮的推进,使得企业资源计划(ERP,Enterprise Resource Planning)系统快速在中国推广。同时,1990年代主要做会计电算化和财务核算的厂商,不断整合早期的国内制造资源计划(MRPⅡ,Manufacturing Resource Planning)系统厂商和ERP厂商,促使国内企业快速转型,推出具体一定竞争力的企业资源计划系统,主数据管理进入以ERP系统管理为主的阶段。

2010年后,经过近20年的信息技术(IT,Information Technology)发展,企业的IT架构逐步完善,多种类型的应用系统逐步部署完成。ERP成为企业运营管理的标准配置,客户关系管理(CRM)系统、预算管理系统等部门级的业务管理系统等也逐渐部署。

由于不同的应用系统部署时间不同、技术架构不同、实施厂商不同、方案设计不同,导致相同的基础数据在需要在不同的系统中分别维护,没有统一的标准、统一的流程和统一的管理。因此,提供基础数据在多系统之间的共享,建立唯一性验证规则,成为建设独立主数据管理系统的关键动因。

此时,主数据管理系统主要提供简单的编码定义和名称管理,及关键的属性管理,为各个主数据的消费系统提供统一的编码、分发的功能。但主数据管理咨询工作一直在慢慢发展,随着企业主数据管理需求不断增强,专业的主数据管理咨询和实施团队开始形成,主数据管理系统也从套件模块发展到定制开发,逐步形成专业的主数据管理系统。

在2010年至2020年这十年中,大型集团型企业开始投入大量资金进行信息化建设和升级,支持集团型企业的主数据管理系统出现。随后的几年中,主数据管理快速发展。国际厂商有些以数据库软件为基础,后切入企业级应用软件行业;有些直接将丰富的行业管理经验沉淀成为企业级应用软件产品;有些则是专门从事数据管理的厂商;不同类型的厂商在其原有业务的基础上,大力推进主数据管理。同时,国内一些为企业客户做定制开发业务的厂商,以项目定制化开放的系统为基础,也逐渐切入到主数据管理的领域中。
(部分内容来源网络,如有侵权请联系删除)
立即申请数据分析/数据治理产品免费试用 我要试用
customer

在线咨询