睿治

智能数据治理平台

睿治作为国内功能最全的数据治理产品之一,入选IDC企业数据治理实施部署指南。同时,在IDC发布的《中国数据治理市场份额,2022》报告中,蝉联数据治理解决方案市场份额第一。

一文讲透主数据管理

时间:2023-04-18来源:愛情收割機浏览数:2986

主数据管理产品介绍:

睿码主数据管理平台EsMDM,是亿信华辰完全自主研发的一站式主数据管理平台产品,覆盖主数据标准、主数据质量,主数据采集、申请、新增、变更、审核、生效、失效、分发等全生命周期管理。全程“零”编码,帮助用户高效完成主数据管理流程制定;通过其高可用性帮助企业快速搭建主数据管理平台,保障各业务系统主数据的一致性,提高企业运营效率。

文章正文:

主数据管理是数据治理的核心内容,最近大鱼对主数据管理的内容进行了系统梳理,如果你想对主数据管理有体系化的理解,那就读这一篇,本文共分为五个部分:

1、主数据基本概念:主数据定义、特征及概念辨析。

2、主数据管理概念:主数据管理定义及挑战。

3、主数据管理实施:主数据管理的7个阶段(项目规划、现状分析、治理保障、平台建设、存量清晰、数据集成、外围变更及运营分析)和25个实施步骤。

4、主数据管理成熟度:主数据管理的五个层次,包括提供列表、同等访问、集中总线处理、业务规则和政策支持及企业数据集中。

5、主数据系统其它:主数据管理系统与数仓、ODS系统的区别。

一、主数据基本概念

1、主数据定义

主数据(Master Data)是指在一个组织内部跨多个系统、应用程序和业务过程中共享、使用和维护的关键业务实体的核心数据。这些数据通常包括客户、产品、供应商、员工和其他重要的业务对象的信息。主数据的目的是确保数据在组织内的一致性、准确性和可靠性。主数据可以根据不同的业务领域和实体进行分类。以下是一些主数据类别:

(1)客户数据(Customer Data):包括客户的基本信息、联系方式、交易历史、信用评分等。

(2)产品数据(Product Data):包括产品的描述、分类、规格、价格、供应商信息等。

(3)供应商数据(Supplier Data):包括供应商的基本信息、联系方式、合同信息、评价等。

(4)资产数据(Asset Data):包括组织的固定资产、设备、设施、软件许可等的详细信息。

(5)员工数据(Employee Data):包括员工的个人信息、职位、履历、培训记录、绩效评估等。

(6)组织数据(Organization Data):包括公司的部门、地点、业务单元、成本中心等相关信息。下图是一个员工基本信息的主数据示例。

2、主数据特征

主数据具有一些特定的特征,这些特征使其在组织内具有重要的价值。以下是主数据的三个关键特征:

关键性(Criticality):主数据包含组织内最关键的业务实体信息,如客户、产品、供应商等。这些数据对业务运营和决策过程至关重要。

共享性(Shareability):主数据通常需要在组织内的多个部门、系统和业务过程中共享和使用。这要求主数据在不同的应用和业务场景中保持一致性和准确性。

持久性(Persistence):主数据通常具有较长的生命周期,需要在一定时期内保持稳定。与其他类型的数据(如交易数据)相比,主数据的变更频率较低。

《主数据管理实际白皮书1.0》针对主数据特征给出了五个超越,是对这三个关键特征的完美诠释:

超越部门。主数据不是那种局限于某个具体职能部门的数据库。主数据是满足跨部门业务协同需要的,是各个职能部门在开展业务过程中都需要的数据,是所有职能部门及其业务过程的“最大公约数据”。

超越流程。主数据不依赖于某个具体的业务流程,但却是主要业务流程都需要的。主数据的核心是反映对象的状态属性,它不随某个具体流程而发生改变,而是作为其完整流程的不变要素。

超越主题。与信息工程方法论中通过聚类方法选择主题数据不同,主数据是不依赖于特定业务主题却又服务于所有业务主题的有关业务实体的核心信息。

超越系统。主数据管理系统是信息系统建设的基础,应该保持相对独立,它服务于但是高于其它业务信息系统,因此对主数据的管理要集中化、系统化、规范化。

超越技术。由于主数据要满足跨部门的业务协同,因而必须适应采用不同技术规范的不同业务系统,所以主数据必须应用一种能够为各类异构系统所兼容的技术条件。从这个意义上讲,面向微服务架构为主数据的实施提供了有效的工具。

3、主数据与其它数据的关系

主数据与其他类型的数据有密切的关系,它们在组织内相互依赖并共同支持业务运营和决策过程。以下是主数据与其他数据类型之间的一些关系:

交易数据(Transactional Data):交易数据是指记录业务活动(如销售订单、采购订单、发票等)的数据。交易数据通常与主数据密切相关,因为它们包含了与主数据实体(如客户、产品、供应商等)相关的信息。例如,销售订单可能包含客户信息、产品信息以及价格等主数据。主数据为交易数据提供了基础信息和上下文,有助于实现业务过程的有效执行和监控。

元数据(Metadata):元数据是描述其他数据的数据,例如数据的结构、格式、定义、来源等。元数据在主数据管理过程中起着重要作用,因为它有助于识别、整合、清洗和标准化来自不同来源的主数据。通过使用元数据,组织可以确保主数据的一致性、准确性和可靠性。

参照数据(Reference Data):参照数据是一种用于支持其他数据的标准化和分类的数据,例如固定值列表、代码表、行业标准、度量单位等。参照数据在主数据管理过程中具有重要作用,因为它们有助于实现主数据的一致性和标准化。通过使用参照数据,组织可以确保主数据在不同系统和业务过程中保持一致。

分析数据(Analytical Data):分析数据是用于支持决策和分析的数据,通常是通过对原始数据(如主数据和交易数据)进行汇总、转换和加工生成的。主数据为分析数据提供了关键的基础信息,确保分析结果的准确性和可靠性。例如,在进行销售分析时,需要使用客户数据、产品数据等主数据来对销售数据进行分组和归类。

下图示例了主数据与元数据、交易数据(业务怇)的关系。

二、主数据管理概念

1、主数据管理定义

主数据管理要做的就是从企业的多个业务系统中整合最核心的、最需要共享的数据(主数据),集中进行数据的清洗和丰富,并且以服务的方式把统一的、完整的、准确的、具有权威性的主数据分发给全企业范围内需要使用这些数据的操作型应用和分析型应用,包括各个业务系统、业务流程和决策支持系统等。主数据管理使得企业能够集中化管理数据,在分散的系统间保证主数据的一致性,改进数据合规性、快速部署新应用、充分了解客户、加速推出新产品的速度。从 IT 建设的角度,主数据管理可以增强 IT 结构的灵活性,构建覆盖整个企业范围内的数据管理基础和相应规范,并且更灵活地适应企业业务需求的变化。大多数的企业都存在主数据管理的问题,这是由于业务发展的渐进性以及IT技术发展的渐进性造成的,正是由于这种渐进性,各大企业的业务系统从经历了从无到有,从简单到复杂,从而形成了一个又一个的业务竖井,比如OA、HR、PLM 、CRM、ERP、MES等等。从根本上来说,不可能只使用一个业务系统就能覆盖企业的所有业务,即便对一些国际大型的公司提供的套件来说也是一个不可能完成的任务(即便对套件来说,经常也存在一个跨国企业在不同的国家或地区部署多个实例的现象,也就是没有集中部署该套件,而是在很多地方分散部署了该套件)。

对企业来说,业务系统的构建更多是以项目为中心,从下而上的构建系统,而不是至上而下的构建系统,必然缺乏整个企业范围内的统一规划,从而使得一些需要在各个业务中共享的数据(主数据)被分散到了各个业务系统进行分别管理。分散管理的主数据由于没有不具备一致性、准确性、完整性,使得各个企业普遍存在着产品管理不力、供应商管理不力、订单管理不力等现象。解决这一问题的根本方法就是引入主数据管理(MDM),主数据不光指需要共享的数据,更包含需要共享的业务规则和策略。先看示例,在没有对主数据进行管理的情况下是这样的:

在费用控制系统中向供应商海康威视公司支付货款,费控系统中该供应商的编码是PAYV000345,完成付款后,费控系统需要向ERP系统传递付款的会计凭证,但是,ERP系统中海康威视公司的编码是ERP00000123,如果费控系统直接把PAYV000345传给ERP系统,ERP系统是不能识别的,那么就需要建立一种对照表,把PAYV000345翻译为ERP00000123才可以。在这种情况下,费控系统和ERP系统都需要有管理员维护各自系统的供应商数据(维护两次),同时还得维护两个系统之间供应商数据的对照关系,应用成本比较高,很不方便。这还仅仅是两个系统之间的情况,如果系统更多,这种使用方式就太复杂了。于是就有了如下的新办法:

在一种叫做主数据管理系统(MDM)的软件中,由该系统的管理员统一维护供应商数据(维护一次),并且统一编制唯一性的编码(如海康威视公司的主数据编码是10002608),然后MDM再把这个供应商主数据推送给费控系统和ERP系统,这样所有系统中的海康威视公司编码都是统一的10002608,系统之间不再需要做编码的翻译,直接使用即可,大大的简单化和标准化了供应商这类数据的应用。

2、主数据管理的挑战

在实施和管理主数据过程中,组织可能会面临许多挑战。以下是一些主要的挑战:

数据质量:确保主数据的准确性、完整性、一致性和及时性是一个重要挑战。数据质量问题可能源于数据输入错误、重复记录、不一致的数据表示等。解决这些问题需要实施有效的数据治理和数据质量管理策略。

数据整合:组织内可能存在多个数据来源和系统,它们存储了不同格式和结构的主数据。将这些数据整合为一个统一、标准化的视图是一个关键挑战。解决这个问题需要实施数据整合和数据转换技术,以便在组织内实现数据的一致性和可访问性。

数据标准化:不同系统和业务部门可能采用不同的数据表示和编码方式。在主数据管理过程中,需要将这些不同表示和编码统一为一个组织内的标准。数据标准化是一个关键挑战,需要实施元数据和参照数据管理策略以解决。

数据安全和隐私:保护主数据的安全和隐私是一个重要挑战,特别是涉及敏感信息(如客户个人信息)时。组织需要遵循数据保护法规,实施适当的数据安全措施,如加密、访问控制和数据脱敏等。

组织变革管理:实施主数据管理往往涉及到组织内的业务流程、系统和文化的变革。成功推动这些变革需要强大的领导力、合作和沟通。组织需要确保员工对主数据管理的重要性有充分的认识,并获得必要的培训和支持。

技术和工具选择:选择合适的技术和工具来支持主数据管理是一个关键挑战。组织需要根据自身的业务需求、数据结构和资源来评估和选择适当的主数据管理解决方案。

持续维护和更新:主数据管理是一个持续的过程,需要不断地维护和更新数据,以适应组织内的业务变化。这需要投入时间、资源和人力来确保数据的质量和一致性。

要想将主数据管理做好,需要各层级领导足够重视、全员参与,同时,构筑起主数据管理的基础能力,包括:组织、流程、 标准和工具等等。在主数据管理基础能力中,组织、流程、 标准的建设80%决定了主数据项目的成败和建设效果。

三、主数据管理实施

主数据管理实施共分为项目规划、现状分析、治理保障、平台建设、存量清晰、数据集成、外围变更及运营分析七个阶段,涉及25个实施步骤,如下图所示:

1、项目规划

(1)获得高层支持

对于公司的大多数主数据,虽然可能存在不一致,但大多时候问题并不严重,因为如果不一致问题已经严重影响到了生产,业务肯定是要强力介入并进行解决的,比如立个项,主数据的大多数问题在业务从0到1的建设过程中就已经基本解决了。因此,很多主数据问题是业务当前还能容忍,但长远来讲成本可能很高的问题,也就是重要而不紧急的事情,考虑到各个部门屁股决定脑袋的特点,主数据存在着天然的驱动力不足的问题。那么谁最会考虑这种重要而不紧急的事情呢,谁又会考虑这种全局和局部的问题呢,显然是公司的高层。因此,主数据的业务驱动一定首先来自公司高层,只要高层不觉得痛,跨领域的长期积累的主数据问题就很难实质性解决,获得高层支持是主数据管理实施的第一推动。

(2)确定项目范围

一个企业主数据会有很多,如果一次把所有主数据都管起来,工作量会很大,周期会很长,通常主数据会分2-3年去完成,并持续优化。这时候,主数据范围确定就很重要,给每个主数据排个优先级,企业最需要统一的、标准化程度高,基础好的、数据一致性好的、数据量可控的都是排序依据,最终根据优先级,我们分步建设主数据,这样可按期看到阶段性效果,便于项目推进。

(3)组建项目团队

一般会设置公司领导小组,组长由管理层担任,副组长由各部门的数据责任人担任,领导小组负责主数据项目总体工作推进,制定总体工作思路和目标,协调各部门间项目推进过程中遇到的问题,确保项目的顺利执行。领导小组一般会下设工作小组,工作小组组长一般由企业数据管理组织的相关负责人担任,成员包括企业数据管理组织人员及各领域的数据专员,负责主数据项目的具体实施,开展相关能力建设和运营。根据自己的经验,一般会设置几个专业组协同推进,以下是一个示例供你参考:业务需求组:负责主数据相关业务流程梳理和业务管理规范的制定,明确主数据需求系统架构组:负责主数据系统整体架构的设计,确保架构合理、满足各域生产应用需要平台建设组:负责推进主数据系统建设工作,实现主数据库、对外数据服务、数据稽核等关键能力数据架构组:负责推进各领域系统现有主数据的整合,形成一份统一的公司标准主数据各领域改造组:负责本领域系统的改造工作,确保与主数据系统的顺利对接

(4)制定项目计划

主数据项目由于涉及到多部门协同,进度控制比较难,因此一定要通过项目启动会等形式明确项目计划,大量的主数据项目由于前期缺乏承诺导致后期扯皮的产生,除了事前的项目计划,事中也要采取通报等形式进行过程控制,及时发现问题并升级。

2、现状分析

(1)沟通需求痛点

第一、调研业务需求,包括哪些业务需要主数据支撑,对主数据有什么要求和期望,

第二、了解业务流程,包括业务如何办理(如填表,工单),如何流转(如是否需要审批),

第三、了解业务应用,基于主数据有哪些业务场景。下图显示了家宽业务受理流程中涉及的地址主数据查询和录入情况。

(2)评估系统数据

第一、调研主数据目前分布在哪些系统中,未来使用主数据的系统有哪些,

第二、主数据有哪些属性字段,数据关系如何,数据质量怎样,

第三、当前系统改造难易度,支撑哪种方式对接。下图显示了地址主数据查询和录入涉及的相关系统。

(3)确定改造内容

基于现状分析,可以确定存在的问题和改进点,分析出用户对主数据建设的需求,包括管理体系、系统架构、业务流程、数据标准、数据质量、数据平台等方面。

3、治理保障

(1)制定标准体系

主数据标准是主数据管理工作的核心内容。通过主数据标准,才能实现跨组织、跨部门、跨流程、跨系统的数据集成和共享。主数据标准也是打通企业横向产业链和纵向管控的数据基础。主数据标准一般分为三类:数据标准,管理标准和服务标准,但主数据标准体系的建设要适合企业的业务,适应企业的发展。标准的建设不能“先入为主”更不能“直接照搬”。

数据标准:主要明确主数据的编码规则、分类标准、命名规范、编码颗粒度、属性规范、主数据模型标准等,下图示例了物料主数据模型和属性描述规则。

管理标准:主要明确组织、制度、流程、应用等管理规范及标准,比如明确各方职责,规范主数据的申请、变更及修改流程。

服务标准:明确主数据集成服务接口规范,包括集成技术规范、开发规范、外围系统接入规范等。

(2)建立组织保障

企业要建立主数据管理组织,确定主数据工作的相关各方的责任和关系,包括确定主数据过程中的决策、管理、执行等活动的参与方和负责方,以及各方承担的角色和职责等,如下图所示:

主数据管理组织目标是:统筹规划企业的数据战略;建立主数据标准规范体系、数据管理制主度和流程体系、数据运营和维护体系;依托主数据管理平台,实施主数据标准化落地、推广和运营。在明确了组织机构的同时,还要明确主数据管理岗位,主数据管理岗位可以兼职,也可以全职,根据企业实际情况而定。

(3)设计制度流程

制度章程是确保对主数据管理进行有效实施的认责制度。建立主数据管理制度和流程体系是需要明确主数据的归口部门和岗位,明确岗位职责,明确每个主数据的申请、审批、变更、共享的流程。

4、存量清洗

(1)明确清洗方法

基于主数据标准,对各来源历史数据进行分析,明确数据采集、标准化、内容清洗及合并等方法,比如下图示例了采用空间聚类、地址相似度等方法来实现相同地址合并。

(2)进行数据清洗

归集历史数据并实施数据清洗,通过数据清洗保证主数据的唯一性、准确性、完整性、一致性和有效性,然后通过系统校验、查重及人工比对、筛查、核实等多种手段对主数据代码的质量进行检查,最终形成一份高质量的主数据代码库。

(3)完成数据发布

完成主数据代码库评审并发布到生产环境,同时做好主数据代码库与源数据的映射,为外围割接做好准备。

5、平台建设

主数据管理平台是数据标准落地的载体,也是实现主数据统一标准、统一规则的支撑,还是有效实施主数据全生命周期管理和数据服务的平台,以及实现数据从产生到应用,分层协同、全面治理的核心。

(1)架构模式

主数据管理平台有多种架构类型,包括集中式架构、分布式架构、注册中心架构及混合架构,在选择主数据管理架构时,需要考虑企业的业务需求、技术基础设施、数据质量和安全性等因素。通常,一个好的MDM解决方案应该支持多种架构类型,并允许企业根据实际情况进行灵活配置和调整。

集中式架构(Centralized Architecture):在集中式架构中,所有的主数据都存储在一个中心数据库中。企业各个业务系统通过API或其他集成技术访问和更新这个中心数据库。这种架构便于实现数据的一致性和标准化,但可能存在性能瓶颈和单点故障的风险。

分布式架构(Distributed Architecture):在分布式架构中,主数据分布在多个数据库或系统中,这些数据库或系统可能位于不同的地理位置。数据通过数据集成技术(如ETL或消息队列)在各个节点之间同步。这种架构具有较高的可扩展性和容错能力,但实现数据的一致性和标准化较为复杂。

注册中心架构(Registry Architecture):在注册中心架构中,主数据依然存储在各个业务系统中,而MDM平台只维护一个包含数据索引和映射关系的注册中心。这种架构避免了数据迁移和同步的复杂性,但需要实时查询和整合多个数据源,可能影响数据访问的性能。

混合架构(Hybrid Architecture):混合架构结合了集中式、分布式和注册中心架构的优点,以满足企业的不同需求和场景。例如,对于关键和公共的主数据,可以采用集中式存储和管理;而对于分散和敏感的主数据,可以采用分布式存储和注册中心管理。

(2)管理数据模型指基于主数据标准,提供主数据的结构、属性、关系、约束和规则的建模能力。

(3)进行数据整合固化数据清洗方法,包括对接入的数据进行汇聚、清洗、转换、映射、去重、合并及加载,通过一系列的数据加工和处理形成标准统一的主数据。

(4)提供数据服务指对外提供主数据的变更、订阅、查询、同步、分发、通知等服务。

(5)构建数据管理指构建主数据管理流程,实现主数据的创建、变更、审核等运维功能。

6、外围集成

(1)变更业务流程

主数据建立后,各业务系统需要基于主数据的管理要求变更主数据录入、变更、查询等流程,重新明确相关角色和职责,并对相关人员进行培训,确保查询和录入的规范性,比如新的主数据管理系统提供了二种主数据的查询方式:

(2)进行数据集成

需要将主数据管理平台与各个目标业务系统进行集成,以实现主数据的申请、审核、分发等交互操作,从而最终实现主数据在多个系统之间的共享和统一。集成可以通过企业服务总线(ESB)方式,也可以通过Web Service和XML方式。由于每个业务系统复杂性不一样,改造难度不一样,并不是每个系统都要按照一个标准去集成,比如历史数据各自如何清理、数据对照在哪里做、数据是主动推送还是订阅方式,最终往往通过多种集成方式,最终逐渐解决企业系统间的数据不一致问题。下图给出了A系统(原来具备独立的地址管理能力)集成地址主数据的示例,共要做四个方面改造:

第一、A系统页面集成地址主数据系统的管理页面,调用地址主数据提供的API接口进行查询变更等操作,下线原来的地址管理模块。

第二、A系统新增与地址主数据系统的数据同步接口,保留一份地址主数系统的全量标准地址库副本,供A系统内部高效使用。

第三、由于地址主数据模型发生变更,A系统中原有的涉及地址数据的模型进行适配改造。

第四、A系统的下游要同步改造。

7、运营闭环

主数据管理项目的实施能够帮助企业初步建立起主数据的管理体系,但做好持续的运营工作,是发挥主数据价值的关键。有些项目实施过程很成功,但系统运行一段时间,比如半年、一年后,突然发现,主数据的质量已经回到了“解放前”。所以,实施主数据项目,只是数据治理的一个开始,企业要保持高质量的数据,必须持续的运营和不断的优化。

(1)确保标准执行

要建立主数据的运营管理团队,推动主数据管理相关制度的落地和优化,做到定岗定责、责任到人,对主数据新增、变更、使用等的流程进行监督和改进,确保规范执行到位。

(2)提升数据质量

主数据作为“黄金数据”是企业的核心数据资产,主数据质量的好坏决定了数据价值的高低,因此要建立一套主数据质量的运维体系,确保及时发现主数据的质量问题并闭环解决,如下示例了地址主数据的自动稽核流程:

(3)加强运营推广

主数据的应用接入无法一蹴而就,特别是对于集团型企业有很大难度,需要制定周密的推广计划,逐步推广到相关的业务系统中。

四、主数据管理成熟度

根据主数据管理实施的复杂程度,可以把主数据管理可以分为五个层次,从低到高反映了主数据管理(MDM)的不同成熟度,下面是IBM的一个评估模型:

Level 0:没有实施任何主数据管理(MDM),意味着企业的各个应用之间没有任何的数据共享,整个企业没有数据定义元素存在。

Level 1 :提供列表,Level1比Level 0的不同就是,各个部门虽然还是独立维护各自的关键数据,但会通过列表管理维护一个松散的主数据列表,能够向其他各个部门提供其需要的数据。Level 1依赖于人的协作,当数据量比较大时,数据维护的成本会变的很高,效率也会很低

Level 2 :同等访问(通过接口的方式,各个系统与主数据主机之间直接互联),Level 2与Level 1相比,引入了对主数据的(自动)管理。通过建立数据标准,定义对存储在中央知识库中详细数据的访问和共享,为各个系统间共享使用数据提供了支持,也就是说一个应用可以调用另一个应用来更新或刷新需要的数据。

Level3 :集中总线处理,与Level 2相比,Level 3打破了各个独立应用的组织边界,使用各个系统都能接受的数据标准统一建立和维护主数据(Level 2的主数据主机上存储的数据还是按照各个系统分开存储的,没有真正的整合在一起)。集中处理意味着为MDM构建了一个通用的、基于目标构建的平台。

Level 4 :业务规则和政策支持,相对于Level 3,Level 4将主数据的业务规则进行集中管理,并跟各类业务流程进行集成,在确保数据准确性的前提下可以支撑规则的动态变更。比如,如果一个商店经理更新一个产品的价格,总线系统需要能够和一个可信系统(比如,商品管理系统)进行协商以便使规则生效,也就是”一点更改,全局生效“。

Level 5 :企业数据集中,总线和相关的主数据被集成到独立的应用中,主数据和应用数据之间没有明显的分隔,他们是一体的。当一个有权限的应用系统更新一个数据值时,公司内所有的系统实时反映这个变更,也就是”一点更改,实时生效“。

五、主数据管理系统与数仓、ODS的区别

1、主数据管理系统与数仓的区别

首先,处理类型不同,主数据管理 (MDM) 系统是偏交易型的系统,它为各个业务系统提供联机交易服务,系统的服务对象是呼叫中心、B2C、CRM

等业务系统;而数据仓库是属于分析型的系统,面向的是分析型的应用,是在大量历史交易数据的基础上进行多维分析,系统的使用对象是各层领导和业务分析、市场销售预测人员等。

其次,实时性不同,与传统的数据仓库方案的批量 ETL 方式不同,主数据管理系统在数据初始加载阶段要使用

ETL,但在后续运行中要大量依赖实时整合的方式来进行主数据的集成和同步。

第三,数据量不同,数据仓库存储的是大量的历史数据和各个维度的汇总数据,可能会是海量的,而 MDM

存储的仅仅是客户和产品等信息。虽然主数据管理系统和数据仓库系统异同共存,但是二者却有着紧密的联系,并且可以互为促进、互为补充。举例而言,数据仓库系统的分析结果可以作为衍生数据输入到

MDM 系统,从而使 MDM 系统能够更好地为操作型 CRM 系统服务。

2、主数据管理系统与ODS的区别

首先,二者存储的数据内容是全然不同的,主数据管理系统主要存储客户、产品、供应商等核心对象数据,而ODS存储的数据包括事务数据、业务流程数据等。

其次,二者的目的不同,主数据管理系统主要关注实时或接近实时的数据处理,以实现数据的实时一致性,而ODS主要用于处理事务数据和业务流程数据,以支持实时业务决策和报表需求。

第三,主数据管理系统通常不存储数据的历史变化,只关注当前最新的主数据。而ODS可能会存储一定的数据历史,以便支持企业的短期趋势分析和历史报表需求。

六、实施落地-主数据平台搭建

在平台搭建层面,亿信华辰睿码主数据管理平台对于主数据的一个全生命周期的功能支撑是非常全面的,包括模型管理、分发管理、数据质量监控、工作流审批和用户权限等全方位支撑进行高效的实施主数据项目。

△睿码主数据产品架构图

七、实施落地-主数据模型建设

在主数据模型建设时常常会遇到以下几个问题,需要大家特别注意:

问题1:如何去区分主数据的一个属性字段和重要属性字段

在收集主数据属性字段时,由于业务人员对于主数据的概念并不清晰,往往会将重要属性字段识别为主数据字段,这里要加以区分和筛选。例如人员主数据里面像户口、毕业院校等信息就属于重要属性字段。

因为人力资源部门来说,它是一个重要属性资料是需要收集的,但是对于主数据来说,他的共享性可能只有人力资源部门会用到这个数据,但别的部门会不会用到这个数据呢?他可能用不到,那这样的话,那我们在收集这个主数据属性阶段的时候,要考虑这个字段是否高度共享?主数据字段别的部门有没有用到?如果用到,我们就要将他纳入到主数据属性字段,否则我们是不纳入的。

解决思路:首先要确保高度共享的字段收集齐全,再结合客户的实际需求增添重要属性字段。

问题2:多数据来源的情况下,数据如何清洗合并

这个也是建设的过程中比较难的一个点,我们面对多数据来源时,首先了解各数据源的数据情况,针对具体的数据问题提出清洗和合并建议,与客户进行讨论,确定实施方案后进行操作。

特别是组织架构的数据尤其需要注意,因为行政组织架构和业务系统的架构是有区分的。业务架构的特点,为了满足业务上的需求,从而虚构出许多不存在的部门。

八、实施落地-主数据共享

主数据共享是主数据建设完成之后,如何将它去分发到各业务系统去使用。睿码主数据管理平台是通过两种形式实现共享:

第一种是接口分发的方式,由业务系统主动获取数据,适用于业务系统对主数据实时性要求较高的情况。

另一种是通过交换任务的方式,支持定时任务执行,适用于业务系统需要批量获取主数据的情况。

九、项目重难点解析

难点一:数据接入比较困难

难点分析:主数据项目要求接入财务系统和合同系统的数据,而财务系统和合同系统里面的数据都是高度涉密数据,客户内部出于对数据的安全考虑等原因,需要通过相关协议进行控制,整体审批等待时间较长。

解决方案:在需求调研的阶段就要去提前去了解数据获取的方式,尽早获取相关数据进行分析,从而避免时间上的冲突,阻碍项目进度。

难点二:数据标准定义难、质量差、改造难

难点分析:清洗接入的财务系统和合同系统相关主数据的历史数据,而在改造过程中遇到以下问题:

1.财务系统为用友NC6.5,接入的数据包含了大量的财务系统唯一标识符,需要对多个字段进行转码。

2.财务系统的部门编码历史数据牵扯了诸多业务,难以迅速整改。最终由客户集团发文,协助用友公司进行清理,用时约3周。

3.甲方项目组对于标准制定无暇顾及,无法有效的建立数据标准,只能凭借项目组成员的经验对数据标准和质量进行控制。

4.对于不同业务系统的同一类型数据如客商、组织等进行统一标准整改时,甲方项目组在我们给出建议的时候难以决策,将问题转移至我们来解决。

5.业务系统对于需要改造的相关功能有所排斥,难以推行下去。

解决方案:我们主动的去引导客户去完成相关事项的一个决议,尽可能的提供一些专业建议,把该准备的材料流程都准备好,主动去推动协调解决。推进事情建议采取三步法:1)收集需求,编写方案;2)开会讨论,确定结果;3)双方确认执行方案,通过流程化步骤解决问题。

难点三:沟通难,阻力大

难点分析:项目沟通难,涉及需要业务系统改造的地方,所遇到的阻力较大。受制于职能型组织架构模式,需要花更多的时间和精力和各职能部门沟通。主要体现在以下方面:

1.流程审批沟通与业务流程冲突,反复沟通多次未果。

2.建设客商主数据需要改造合同系统(风控部)的功能,遭到较大阻力。

3.接入天眼查接口功能时涉及费用归属时,多次讨论无果。

解决方案:阻力大是我们主数据项目实施的一个常态,在实施的过程中我们强调还是要多沟通多确认,在确认之后进行实施。建议将沟通问题加以区分,项目范围内的技术问题由项目组出面解决;对应客户内部的组织协调沟通的问题,需要甲方有能力的领导去协调去沟通。

(部分内容来源网络,如有侵权请联系删除)
立即申请数据分析/数据治理产品免费试用 我要试用
customer

在线咨询