睿治

智能数据治理平台

睿治作为国内功能最全的数据治理产品之一,入选IDC企业数据治理实施部署指南。同时,在IDC发布的《中国数据治理市场份额,2022》报告中,蝉联数据治理解决方案市场份额第一。

企业的主数据建设方法论与实践 | 推荐收藏

时间:2021-12-01来源:亿信华辰浏览数:401

本篇文章为亿信华辰《企业的主数据建设方法论与实践》视频直播稿件。

这次我的主题是企业的主数据建设方法论与实践,相信大家来听这场直播,都是对主数据建设比较感兴趣的,同时我也希望能够通过这样一场分享,给大家在主数据的建设过程中提供一些思路。

现在我们就正式进入这个主题,这次分享主要分成6个部分,第一部分主要是介绍企业现在的主数据管理现状;第二部分,我们再来总结下主数据的定义和特性;第三部分我们看看主数据管理的意义和价值在哪里;紧接着第四部分我们说说主数据管理这样的一个项目建设,它的体系是怎样的;接下来第五部分就是我们本次直播的重点,即主数据管理实施方法论的介绍;最后第六部分介绍下亿信华辰的主数据管理的案例。

一、企业主数据的管理现状

1.企业目前的数据架构

众所周知,在大部分企业的发展过程中,随着业务的扩张,企业的业务系统会越建越多。与此同时伴随着各业务系统的交叉,会出现一些公共的数据,如图所示,它会被不同的业务系统调用,当调用关系越来越复杂时,一旦有一个地方数据出现问题,它可能会蔓延到更多的系统里,从而出现更多的问题。而更严重的问题是很难溯源找到背后的原因。

因此我们需要去做主数据管理工作,搭建一个主数据平台,通过这样的一个平台去统一管理主数据,统一进行分发,从而将错综复杂的关系简单化。最终我们只需要管理好主数据,就能提高数据的调用效率,也能支撑企业的业务经营管理。

2.先进企业历程分享

接下来,我们分享一个先进企业的主数据建设历程。如图所示,这是一家石油企业前后花了10年时间做的物料主数据管理,从最开始的10个子类扩展到最后的56个大类,数据也从10万条增加到300万条,这样庞大的数据如果要做一些精细化管理肯定是比较有难度的。

所以这家石油企业通过主数据管理,去实现集团的集中管控,比如像与物料相关的一些监控表,从原来的月报变成了实时可查询的统计,这样能帮助企业提高决策的时效性;同时与物料有关的采购也节约了500多个亿。这样的主数据管理给企业带来的成效是非常大的。

二、主数据的定义与特性

1.主数据的定义

主数据是指满足跨部门业务协同需要的,反映核心业务实体状态属性的基础信息。举个例子,公司的员工信息,存在于很多业务系统里,比如人力系统、财务系统、OA系统,以及考勤系统等,但每个系统所需要的信息可能不一样,财务系统需要员工开放信息,比如从哪个银行开户,账号是什么,这样方便打款;人力系统可能只是需要员工的一些入职信息。

这样的员工信息就属于主数据,它在很多企业业务系统被使用,同时还能反映这个员工本身的一些属性。类比下,还有产品、物料、客商、客户、供应商等主数据。

2.哪些数据是主数据?

一家企业不只有主数据,还有一些其他数据,这里有一个金字塔结构的企业数据模型,包括关键的基础数据、主数据、业务数据、报表数据。

基础数据可以理解为基本不会发生什么变化的,比如国家货币计量单位,其他维表数据等,其数据就是一些取值范围,也称其为参考数据;主数据就是长期稳定的,能被多个系统使用的,比如组织机构人员、客商等;业务数据是指一些业务交易系统所产生的数据,包括订单的记录、还有一些考勤记录等,与主数据捆绑的比较紧;报表数据是基于下面三类数据做的一些分析呈现,报表数据的主要作用是通过结果呈现来做预测工作。

3.主数据、业务数据与元数据的区别

如图所示,表头就是元数据,这些字段本身描述了字段的一些属性信息;而主数据其实就是这样的一条记录,这条记录可以划分为两部分,一部分是主数据,描述核心业务实体属性的数据,另外一部分就是主数据在业务交易过程中由系统产生的数据,比如这块的订单数据就是业务数据。总的来说,所有这些数据作为企业的一部分,只要能产生价值,它都可以称之为数据资产,能去支撑企业上层的生产、财务、项目管理等。

4.主数据的4个特性

(1)唯一性:在一个系统、一个平台甚至一个企业范围内同一主数据要求具有唯一的识别标志(代码、名称、特征描述等),用以明确区分业务对象、业务范围和业务的具体细节。

(2)共享性:主数据特征会被作为业务流程的判断条件和数据分析的具体维度层次,因此需保证主数据的关键特征在不同应用、不同系统中的高度一致共享,形成统一规范 。

(3)稳定性:主数据作为用来描述业务操作对象的关键信息,在业务过程中其识别信息和关键的特征会被交易过程中产生的数据继承、引用、复制,但主数据本身的属性通常不会随交易的过程所被修改。

(4)有效性:只要该主数据所代表的业务对象仍然在市场中继续存在或仍具有意义,则该主数据就需要在系统中继续保持其有效性,通常贯穿该业务对象在市场上的整个生命周期甚至更长。

三、主数据管理的意义

前面我们说完了主数据的4个特性,我们再来看看主数据若是出现问题,会对业务造成什么样的影响。如图所示,这两条数据是同一个物料吗?

我们可以看到这里少了一个度,并且编码是不一样的,但从这个主体来说,它是 同一个物料,但是却存在两条记录;像第二个也是,它的编码只差了一个0,但编码的却是两个;下面的数据也同样如此,当企业在做物料的预算时,由于找不到到底是那条数据缺失了,所以他没办法做一个准确的预算。对于采购也是如此,当业务系统里存在两条采购数据,这样就会导致一些大量的重复采购,从而浪费资源。因此主数据管理的意义主要表现在以下4个方面:

1.帮助跨部门协同

企业数据资产的维护需要站在公司的高度,协同各个部门共同完成,主数据是在各个业务部门被重复使用的数据,其管理兼具技术和业务的双重因素,因此做好主数据管理能帮助跨部门协同。

2.便于开展数据治理工作

主数据管理项目初期不涉及交易系统改造。主数据问题解决好了,公司的数据资产框架就理顺了,数据质量、数据及时性等将明显提升,便于继续开展其他数据治理、信息化、数字化工作。

3.赋能数字化转型的需求

数字化转型需要以客户需求为出发点,各部门通力协作,而当前行业技术业务分割明显,主数据管理过程也锤炼了跨部门的协同,通过加速科技和业务的融合,建立公司范围内通用的主数据规范,以保证数据的一致性和管理报表的合并,这是公司进行其他业务变革成功的基础之一。

四、主数据项目管理体系建设

1.规划阶段

这个阶段主要是组织的建设、制度的建设,以及目标的确定,也就是我们主数据到底要做哪些内容,其范围涉及哪些系统。

2.数据标准阶段

更多是做一些主数据的管理,比如我们需要确定这一期项目到底做哪些,分类是什么,比如物料主数据的分类,与此同时还有主数据的编码是怎样的,有什么标准,然后还有一些类似于“我的”这样的属性到底有哪些。

3.治理阶段

这一阶段更多的是对各类主数据进行采集、清洗、整合,完成一些历史的主数据的预处理工作。

4.落地阶段

主要是将前面所有梳理好的属性与分类,以及历史主数据治理好后,搭建一个平台去做呈现。以一个物资示例来说,通过主数据的管理,实现了业务上的集中管理,比如,统一的物资分类及编码体系可提供一套“共同语言”,促进企业在供应链业务各方面的集中管控,并作出以事实为基础的决策。

在整个供应链的过程中也起到一些作用,比如在采购方面,避免了重构采购节约了成本;在销售方面,由于基于统一的分类和规格标准,在做扣利润分析、产品销售分析时更加准确;在仓储物流方面,因为有统一的高质量的主数据,减少了重复的储备,在管理效率上也能有很大的提升。

五、主数据项目管理实施架构

我们这里其实可以看到这样的一个主数据项目管理这样的一个实施的框架。这个框架其实分成4大部分,第一个就是现状分析与评估,第二个就是体系的规划,第三个就是实施方案,最后就是一个平台落地部署的工作。

1.现状分析与评估

这一阶段做的事情就是前期的需求调研,主要目的是获取企业主数据的管理现状,以及存在哪些问题。这个过程中,我们也会搜集这个行业比较好的实践案例,以及国家是否有出台相关的标准,这些都能方便去了进行现状分析与评估。

2.管理体系规划

基于组织的目标,我们就可以去做一些规划,在规划的过程中,我们更多的是做各类架构的设计,包括一些制度的建立,考核评价,以及制定一些标准规范等。

3.主数据实施方案

这一阶段主要是对每一项做分解,比如编码规则是什么,有怎样的分类。它有哪些属性,以及在这个过程中,还涉及历史主数据的整合,还有清洗、分发、集成的策略等等。最后还有主数据在使用过程中,如何做更好,如何慢慢地切换到一个统一的平台上,这些都是实施方案所需要关注的。

4.主数据平台搭建

这个平台搭建就是将我们前期所有做的工作的线上化,这样就能让主数据管理更加规范精细化,效率也能更高。

六、主数据项目管理的6大步骤

主数据项目总体上遵循常规项目6大步骤:启动、计划、需求分析与设计、实现、测试验收、售后运维。这里我们主要重点介绍下实现阶段的内容,测试验收和售后运维就不多做讲解。

1.启动阶段

启动阶段主要包括识别项目目标、组建项目团队、召开项目启动会。

识别项目目标就是要做一个主数据识别,主数据识别可以从两方面去考虑,第一个就是通过一些已知的分析维度,以及业务影响程度等,还有数据共享程度比较高的,或者说数据需求比较迫切的,我们都可以将其纳入主数据范围。除此以外,还可以通过一些成熟的工具做一些分析,通过这样的工具去对接业务系统,从而识别企业到底有哪些主数据,然后这些数据分布在哪里。

第二个就是组建项目团队,如图所示,项目管理也是这样去组建团队的,比如项目领导小组有项目总监、项目经理,还有一些各种不同的角色的实施人员,除此以外,还配备一些专家的团队做支持。

2.计划阶段

计划阶段我们主要关心两部分内容,第一是实施落地的工作,第二是主数据集成开发的工作。这里按照我们前文中说的框架体系去做即可。这里我们重点说一下集成开发这块的工作。

我们在需求调研阶段,以及咨询规划阶段,了解了业务主数据来源于哪些系统,最后用于哪些系统,以及分发到哪些系统;以及我们的平台如何与业务系统做对接,是用表对接,还是接口对接;同时整个实施过程中还要做一些并行的工作,因此前期要去了解收集这样的一些信息,这样才能让整个项目的进行的比较顺利。

3.需求与设计阶段

这一阶段也称为需求调研阶段,主要从两方面去看,一个是业务方面,一个是技术方面。

我们主要是通过访谈问卷,或者面对面的交流以及一些数据抽取的手段去获取企业主数据的信息和现状,具体的调研示例如下:

除了需求调研,还有一个重要的板块是管理制度设计,这里采取三层的架构——决策层、管理层、执行层。

另外主数据的建设并不是IT部门或者信息科技部门就能决定的,正如前文中提到的主数据含有业务实体属性,需要在业务系统里被使用,因此一定需要业务负责人的参与,一起来共同推进。

而对执行层来说,主要是需要和业务部门一起定义数据的标准模型分类,共同推进。当然在主数据平台管理过程也需要信息管理员来对数据进行审批等,以上这些角色都是在整个组织架构建设时提前定义好的。

4.实现阶段

在具体的实现阶段有10项工作要去做,这些工作可以并行考虑,包括数据标准化,分类编码属性管控、流程整合以及切换策略等等,下面我们具体来看看。

(1)主数据标准化体系

以物料为例, 完整的物料标准化体系主要包括两大部分内容,一是物料数据标准的制定,二是支撑物料数据标准化管理相关的组织机制与技术平台等基础能力的建设。在此体系下确保逐步改善物资数据质量,最终实现标准化。

(2)分类设计原则

分类设计的原则主要有4点,第一是不重不漏;第二是粗细颗粒度要合理;第三是要满足业务需求;第四是要符合行业习惯,如图所示。

这里有一个很重要点是,在整个分类设计的过程中,实施人员要反复与客户进行确认。因为一旦分类没有做好,后续可能导致大量的重复录入,并产生很大的影响。这里有一个分类的示例,大家可以参考下:

当然,我们亿信华辰的主数据管理平台也是可以做分类的效果展示,如图所示,可以将我们前面做好的分类,直接在平台上进行维护,这样我们就可以很方便的去做一些分类管理,以及每一种分类对应哪些物料数据。

(3)编码设计

编码设计也有一些原则需要去遵守,比如编码要有全局性,唯一性、适度性、灵活性、扩展性等。对于唯一性与扩展性,换句话说,当一些新的物料数据进来以后,我们能方便添加更多的编码进来,而此时的编码也需要是唯一的,也就主数据编码只能对应一个确定的实体对象。

这里的编码通常有三种方式,即顺序码、层次码、组合码,他们各有优缺点,如图所示:

编码制定的过程也是需要进行大量的讨论和确认,才能形成一个好的编码方案。在现实中,正是因为企业编码不统一、造成了后续采购以及存储等一系列问题,所以编码方案一旦确定出来,实施人员就需要与客户的高层进行确认。如图所示的编码结构示例,它是一个组合码。

亿信华辰的的主数据管理平台,也是可以做这样的编码的,如图所示,左边是编码规则的制定,在这个过程中,看到有许多种规则,包括固定字符,流水号,以及从数据层进行取数,这样的编码方式可以覆盖更多的场景,包括顺序码、层次码以及组合码。

(4)属性标准梳理

属性标准梳理我们可以去参考一些标准,比如外部的国际标准、国家标准;业务层面上的行业标准和制度要求等;另外在进行属性梳理时,我们HIA可以从源系统中参考数据字典,查看一些代码表;最后我们也可以借鉴一些好的实践经验与成果来进行属性标准的梳理。

在进行主数据属性标准梳理时,我们可以从业务标准、技术标准、管理标准三个层面来进行。比如业务层面,我们需要理解属性到底属于哪一个分类,属性名称是什么,有怎样的业务规则;技术层面,我们可以定义属性,以及类型长度精度等;管理层面我们可以梳理谁来创建,谁来使用,谁在维度等,提前将其确定出来,方便后续制定这样的制度,如图所示是一个属性标准的示例。

在亿信华辰的主数据管理平台上,我们可以进行属性标准的梳理,如图所示,员工编码梳理完之后,落地到平台上,它的名称标题以及中文名称是怎样的,是什么类型数据,这些都可以通过平台进行梳理,然后再在前端设置一些填报的效果等等。

(5)管控流程设计

数据之所以会存在很多问题,以及需要推翻重建,很多时候是在业务系统建设过中没有进行流程审核以及校验。因此我们在进行主数据管理过程中,需要重视管控流程设计。

比如,当定义了两种模型,在模型的新增、变更和失效时,是否有流程做一些控制;在进行数据层面的管理工作时,是否有流程能能监测数据的变更、冻结或者失效。另外,我们可能还会涉及一些质检和审批,在审批没有问题,才能去做分发。

这里亿信华辰主数据管理平台能提供这样的审批方式,可以通过工作流平台去绑定工作流,去做一些流程设计,或者与企业里一些成熟的流程系统做对接,然后通过企业的系统进行流程上的管控。除此以外,还可以在亿信华辰的主数据管理平台绘制流程,指定相应的审批人员,办理人员以及设置办理期限等,最终起到规范数据的作用。

(6)历史数据整合、清洗

这个过程主要分成6个步骤,分别是数据接入、初步标记、分类清理、先分后合、整理清洗、检查反馈。

①第一步:通过接口或者ETL工具去接入历史的主数据;

②第二步:看数据存在什么问题,是否有一些

(部分内容来源网络,如有侵权请联系删除)
立即申请数据分析/数据治理产品免费试用 我要试用
customer

在线咨询