- 产品
- 产品解决方案
- 行业解决方案
- 案例
- 数据资产入表
- 赋能中心
- 伙伴
- 关于
时间:2022-11-11来源:薰衣草香浏览数:4083次
主数据治理是企业数据治理中最为重要的一环。主数据标准管理的内容包括主数据管理标准、主数据应用标准和主数据集成服务标准三大类。
主数据又被称为黄金数据,其价值高也非常重要。对企业来说,主数据的重要性如何强调都不为过,主数据治理是企业数据治理中最为重要的一环。主数据标准管理的内容包括主数据管理标准、主数据应用标准和主数据集成服务标准三大类。
本文主要讲述主数据代码体系、主数据标准体系和主数据标准制定及贯彻的方法和思路。
主数据标准包括主数据管理标准、主数据应用标准和主数据集成服务标准三大类;主数据质量、安全控制通常对主数据标准执行、宣传贯彻情况,主数据唯一性、一致性、合规性检查,主数据可追溯性版本控制这三个方面进行监督和考核。因此,主数据标准制定是全面提升主数据的质量、实现主数据规范化及信息共享的前提。主数据管理的首要任务就是要制定主数据标准和规范,统一主数据的定义,定义主数据模型。主数据标准修订是一个循环往复的过程,即通过不断地对主数据标准进行深化应用和质量监督,发现标准存在的问题且不断修订。
主数据标准制定过程
2主数据代码体系主数据代码库的建立是基于规范的主数据标准。企业想要标准化和规范化的主数据标准代码库,需要通过不断地完善主数据标准,依据主数据标准对数据进行清洗处理,然后通过高质量的数据清洗形成主数据标准代码库。企业经营范围内的数据要被认定为主数据,需要按照主数据的特征识别为主数据。
主数据是在整个企业范围内各个系统(操作/事务型应用系统以及分析型系统)之间共享的、高价值的数据,可以在企业内跨越各个业务部门被重复使用。从主数据的概念上看,主数据应具有以下特性。
特征一致性:保证主数据的关键特征在不同应用、不同系统中的高度一致,是将来实现企业各层级应用的整合,以及企业数据仓库成功实施的必要条件。
识别唯一性:在一个系统、一个平台甚至一个企业范围内,同一主数据要具有唯一的识别标志(编码、名称、特征描述等),用以明确区分业务对象、业务范围和业务的具体细节。
长期有效性:主数据通常贯穿该业务对象的整个生命周期甚至更长。换而言之,只要该主数据所代表的业务对象仍然存在或仍具有比较意义,则该主数据就需要在系统中继续保持其有效性。
交易稳定性:主数据作为用来描述业务操作对象的关键信息,在业务过程中,其识别信息和关键的特征会被交易过程中产生的数据继承、引用、复制。但无论交易过程如何复杂和持久,除非该主数据本身的特征发生变化,否则主数据本身的属性通常不会随交易的过程而被修改。
在主数据架构设计中,通过研究影响主数据多个因素之间的关系,对具有这些因素的个体之间进行统计分析,确定主数据标准体系,可以指导未来企业各类主数据的建设。
在该体系中,一共划分了六类主题,包括人事类、运营管理类、财务类、决策支持类、通用基础类、板块专用类。
2.1人事类人事类主数据包括组织机构主数据和员工主数据。
组织机构主数据主要包含组织机构代码、组织机构名称、所属上级组织、成立日期等属性。
员工主数据包含员工编码、姓名、性别、所属单位、所属部门、岗位、职级、兼职等属性。
2.2运营管理类运营管理类主数据包括客商类(供应商和客户)主数据、实物资产类(物料、设备\设施和产品)主数据、项目类(工程项目、投资项目和设计项目)主数据、合同类主数据、安健环类(安全、健康、环保)主数据。
供应商主数据主要包含供应商代码、供应商名称、组织机构代码、社会统一信用代码、所属国家、地址、联系人、证件号等属性。
客户主数据主要包含客户代码、客户名称、组织机构代码、社会统一信用代码、所属国家、地址、联系人、证件号等属性。
物料主数据主要包含物料类别、物料代码、物料名称、规格型号、计量单位等属性。
设备主数据主要包含设备类别、设备代码、设备名称、设备型号、使用单位等属性。
产品主数据主要包含产品类别、产品代码、产品名称、产品型号等属性。
工程项目主数据主要包含项目类别、项目代码、项目名称、项目金额等属性。
投资项目主数据主要包含项目类别、项目代码、项目名称、项目金额等属性。
设计项目主数据主要包含项目类别、项目代码、项目名称、项目金额等属性。
合同类主数据主要包含合同类别等属性。
安全主数据主要包含代码、名称等属性。
健康主数据主要包含代码、名称等属性。
环保主数据主要包含代码、名称等属性。
2.3财务类财务类主数据包括会计科目主数据、固定资产主数据、金融机构主数据。
会计科目主数据主要包含科目代码、科目名称、科目释义、科目级次、借贷方向等属性。
固定资产主数据主要包含固定资产分类、固定资产编码、固定资产型号等属性。
金融机构主数据主要包含金融机构代码、金融机构名称等属性。
2.4决策支持类2.5通用基础类通用基础类主数据主要包括行政区划、计量单位、车站港口、经济分类、语种、币种等其他需要应用国家标准的主数据,该类主数据要严格遵循国标的要求。
2.6板块专用类在该示例中,板块专用类主数据包括新能源板块、交通板块、工程设计板块、金融板块、保险板块、地产板块、其他板块专用的主数据,该类主数据由板块提出申请,经主数据管理办公室批准后建设。
3主数据标准体系主数据标准体系分为主数据管理标准及规范、主数据应用标准及规范、主数据集成服务标准及规范三大类。
主数据标准体系分类
类型 |
标准与规范 |
主要内容 |
|
主数据管理标准及规范 |
主数据管理组织 |
企业内各类主数据的管理组织架构、运营模式、角色与职责规划 |
|
主数据管理制度 |
规定了主数据管理工作的内容、程序、章程及方法,是主数据管理人员的行为规范和准则,主要包含各种管理办法、规范、细则、手册等 |
||
主数据管理流程 |
包括主数据业务管理流程、主数据业务管理流程和主数据质量管理流程,保证主数据标准规范得到有效执行,实现主数据的持续性长效治理 |
||
主数据应用管理 |
包括三部分内容:明确管理要求、实施有效的管理、强化保障服务 |
||
主数据管理评价 |
评估及考核主数据相关责任人职责的履行情况,以及数据管理标准和数据政策的执行情况 |
||
主数据应用标准及规范 |
组织人事类 |
组织机构主数据标准 |
规定了组织机构主数据的技术属性、业务属性和管理属性 |
人员主数据标准 |
规定了人员主数据的技术属性、业务属性和管理属性 |
||
财务类 |
会计科目主数据 |
规定了会计科目主数据的技术属性、业务属性和管理属性 |
|
固定资产类主数据 |
参照国际标准编制 |
||
金融机构类主数据 |
参照中国人民银行下发的金融机构代码 |
||
物资设备类 |
物料主数据标准 |
包括物料分类、物料描述、物料编码标准 |
|
设备主数据标准 |
包括设备分类、设备描述、设备编码标准 |
||
客商类 |
客户主数据标准 |
规定了客户主数据的技术、业务和管理属性 |
|
供应商主数据标准 |
规定了供应商主数据的技术、业务和管理属性 |
||
项目类 |
项目主数据标准 |
规定了项目主数据的技术、业务和管理属性 |
|
合同类 |
合同主数据标准 |
规定了合同主数据的技术、业务和管理属性 |
|
安健环类 |
安健环主数据标准 |
编制安健环主数据代码 |
|
数据指标类 |
数据指标主数据标准 |
规定了指标主数据的技术、业务和管理属性 |
|
通用基础类 |
通用基础类主数据标准 |
参照国家标准 |
|
板块专用类 |
高速公路、轨道交通、工程设计、电力能源、房地产、财务金融等 |
根据需要由各板块专业部门编制 |
|
主数据集成服务标准及规范 |
主数据格式规范 |
主数据格式规范包含了参数格式、主数据类型规范、数据量约束及传输协议等 |
|
集成技术选择标准 |
主数据集成选型标准、集成技术标准、流程集成选型标准、界面集成选型标准 |
||
主数据集成技术规范 |
主数据集成规范、服务集成规范、流程集成规范、界面集成规范 |
||
主数据集成开发规范 |
命名规范、需求规范、架构规范、设计规范、实现规范、测试规范、部署规范、管控规范 |
||
目标服务系统接入规范 |
普通源系统接入规范、不对外提供目标源系统接入规范、FTP/SFTP协议源系统接入规范、单向系统接入规范、特殊源系统接入规范等 |
主数据标准体系建设要遵循“高层负责,机制现行”、“明确定位,合理规划”、“贴近业务,切合实际”、“循序渐进、成效说话”的基本原则,从而有效保证主数据标准体系建设符合企业业务发展的需要。
3.1主数据管理标准主数据管理标准及规范包括主数据管理组织与制度、主数据管理流程、主数据应用管理、主数据管理评价等。
主数据管理标准及规范为主数据管理工作的开展提供了有效的依据和指导,是主数据管理与运营的重要保障。
(1)主数据管理组织主数据管理组织主要包括企业内各类主数据的管理组织架构、运营模式、角色与职责规划。通过组织体系规划可以建立明确的主数据管理机构和组织体系,落实各级部门的职责和主数据管理组织与人员。典型的主数据管理组织主要包含决策层、管理层和执行层。
决策层:设立主数据领导小组,一般由企事业单位信息化领导小组成员组成,对主数据标准化工作进行统一领导,确定指导思想、目标和任务,协调解决标准化相关的重大问题。
管理层:在领导小组的统一领导下,按照“归口管理,分工负责”的原则,设立主数据联合工作组。该工作组为常设组织,主要由主数据管理办公室、业务组和技术组共同组成。
执行层:由企业总部和下属企业专职及兼职主数据管理员组成。负责主数据在本单位的贯彻落实、应用检查工作;负责本单位主数据需求的收集、审核、提报工作;负责本单位主数据的培训、宣传及贯彻和日常维护等工作。
(2)主数据管理制度主数据管理制度规定了主数据管理工作的内容、程序、章程及方法,是主数据管理人员的行为规范和准则,其中主要包含各种管理办法、规范、细则、手册等。可参考的主数据管理制度主要包含:
《主数据管理办法》
《主数据标准规范》
《主数据提报指南》
《主数据维护细则》
《主数据管理系统操作手册》
(3)主数据管理流程主数据管理流程是提升主数据质量的重要保障。通过梳理数据维护及管理流程,建立符合企业实际应用的管理流程,可以保证主数据标准规范得到有效执行,实现主数据的持续性长效治理。主数据管理流程主要包含以下三个方面的内容。
主数据业务管理流程:对主数据的申请、校验、审核、发布、变更、冻结、归档等进行全生命周期管理,满足企业对主数据在企业中深入应用的不同管理需求。
主数据标准管理流程:通过对主数据标准的分析、制定、审核、发布、应用与反馈等流程进行设计,保证主数据标准的科学、有效、适用。
主数据质量管理流程:对主数据的创建、变更、冻结、归档等业务过程进行质量管理,设计数据质量评价体系,实现数据质量的量化考核,保障主数据的安全、可靠。
(4)主数据应用管理主数据应用管理是保障主数据落地和数据质量非常重要的一环。主数据管理应用主要包含三部分内容:明确管理要求、实施有效的管理、强化保障服务。
明确管理要求:制定主数据应用管理制度规范,对主数据的应用范围、应用规则、管理要求和考核标准做出明确的规定,并以此为依据,对主数据应用进行有效管理。
实施有效管理:主数据应用点多、面广、线长,管理难度很大,要实施有效的管理,就必须要有健全的制度和可行的手段,在关键控制节点实施重点管理。具体包括以下内容。
强化服务保障:可以依靠便捷、可靠的主数据服务为主数据应用提供保障,包括主数据查询、主数据同步、主数据申请和主数据调用。
(5)主数据管理评价主数据管理评价用来评估及考核主数据相关责任人职责的履行情况,以及数据管理标准和数据政策的执行情况。通过建立定性或定量的主数据管理评价指标,可以加强企业对主数据管理相关责任、管理标准与数据政策执行的掌控能力。
主数据管理评价指标由数据所有人与数据认责人共同确定,其中会定义一系列的衡量指标和规则:一方面落实和检查主数据的应用情况,另一方面考察和评估主数据管理、主数据标准、主数据质量的执行情况。
主数据管理评价指标
序号 |
考核方向 |
技术指标 |
衡量标准 |
1 |
及时性 |
及时率 |
满足时间要求的数据总数/总数据数 |
2 |
真实性和准确性 |
数据真实率 |
1-数据中失真记录总数/总记录数 |
有效值比率 |
1-超出值域的异常值记录总数/总记录数 |
||
流转过程失真率 |
数据传输失真记录总数/总记录数 |
||
重复数据比率 |
重复记录数/总记录数 |
||
3 |
一致性 |
外键无对应主键的记录比率 |
外键无对应主键的记录总数/总记录数 |
主数据一致率 |
一致的主数据总数/主数据总数 |
||
4 |
完整性 |
字段的空值率 |
空值记录总数/总记录数 |
信息完备率 |
能够获取的指标数/总需求指标数 |
(1)业务标准
主数据标准建设是针对业务开展过程中所使用的具有共同业务特征的基础性数据(即跨部门\跨系统共享、重复使用的核心业务实体数据)。通过制定各类主数据标准可以保证主数据在企业内部有效共享。主数据应用标准的主要内容包括主数据的分类标准、编码规则、属性描述规则、提报指南。
主数据的分类是将数据按照层级关系进行分类,让用户能够清晰地对数据进行描述,满足用户的快速查询和定位,以及统计分析和其他业务管理需求。
对于工业企业物料主数据分类,建议以物料的自然属性为主,将物料主数据分为大类、中类、小类。
物料主数据分类规则示例
物料分类示例
下文以工业企业为例介绍物料主数据的分类规范。
①物料主数据主要参考标准
本例的工业企业物料主数据主要参考以下标准。
《全国主要产品分类与代码》(GB/T 7635-2002)
eCl@ss标准
②物料分类示例
某企业物料分类中各大类及概要说明
代码 |
名称 |
主要包含的内容 |
01 |
有色金属及冶金炉料 |
主要包含重有色、轻有色、贵金属、稀有、黑色、稀有放射性金属矿采选产品;稀有金属加工材、钢锭、生铁、合金铁、粉末冶金原料、铸铁件、铸钢、废黑色金属等 |
02 |
木材 |
主要包含原条、原木、小规格木材、锯材、木片、人造板、人造板装饰加工板、木材防腐制品、工业用木制品、竹材(不含竹制品) |
03 |
支护材料 |
主要包含单体液压支柱、锚杆、网片、锚固剂、金属支架、支护梁等 |
04 |
化学原料及化学产品 |
主要包含无机化学品、有机化学原料、肥料、胶黏剂、农药、煤炭化工产品、林产化学产品、动物胶、环境污染处理专用药剂材料、合成洗涤剂、香料、香精等 |
05 |
燃料 |
主要包含液体燃料、固体燃料、气体燃料。如煤炭、燃料气、汽油、煤油、柴油、燃料油等 |
06 |
原油加工及石油制品 |
主要包含润滑油、润滑脂、溶剂油、化工轻油、炼化中间物料、洗涤剂原料油、石蜡、凡士林、标准油、白色油、软麻油、石油沥青、石油焦、润滑油基础油、石油酸类等 |
07 |
建工材料 |
主要包含水泥、水泥熟料、水泥混凝土制品、水泥预制构件、纤维增强水泥制品、陶瓷、玻璃、砖、瓦、建筑砌块、砂、建筑用石料及石材加工品、石灰石及石灰、石膏及石膏制品、轻骨料、土、门窗、石棉及其制品、筑路材料、工业陶瓷制品、防水及保温材料、滤料等 |
08 |
轴承 |
主要包含滚动轴承、滑动轴承、直线运动滚动支承、轴承零件、其他轴承 |
09 |
机械类(紧固件) |
主要包含螺栓、螺钉、螺母、垫圈、挡圈、销、键、铆钉等 |
10 |
电工材料 |
主要包含裸铝线、裸铜线、铜电车线、钢芯铝绞线、铜包钢线、铜母线、铝包钢线、铝合金绞线、软铜绞线、铜电磁线、铝电磁线、电力电缆、控制电缆及信号电缆、通信电缆、石油专用电缆、特殊电缆、光缆、布电线、安装线缆、尼龙防水线、铁芯线、高压绝缘子、电工用碳素制品、云母制品、绝缘材料、送变电用金属制品、电工合金材料、电缆接头等 |
11 |
电气器具 |
低压电器元件:主要包含各种低压电器元件及附件(启动器、断路器、接触器、控制器、开关、端子等)、防爆电器及附件、干电池、蓄电池及配件等 |
日用电器:主要包含家用制冷电器、空气调节器及配件、电风扇、厨房电器具、卫生清洁器具、熨烫器具;民用灯具、建筑、工矿、农业、交通、医疗用灯具;灯泡灯管、普通镇流器、特殊照明电器、安装及配线器材、常用电器及配件等 |
||
12 |
专用仪器仪表 |
主要包含石油、石化、海洋、纺织、通信、船舶、医疗、水文、环保、电站、煤炭等行业专用仪器仪表及配件 |
13 |
通用仪器仪表 |
主要包含温度仪表、压力仪表、流量仪表、物位仪表、在线分析仪、变送器、控制室组合仪表、工业自动化系统及配件(含煤炭行业各种安全生产监控、保护系统)、控制阀及其执行机构、仪表盘柜箱及控制台、仪表专用阀门、仪表管件、电工仪器仪表、机械量仪、计量标准器具、试验机、实验室仪器及装置、光学仪器、电子测量仪器、校验仪器及设备、其他仪器仪表及配件等 |
主数据编码标准定义了数据的分类和编码规则,方便企业识别、统计汇总及建立主数据间的映射关系,是主数据标准化建设的核心内容。通过对主数据分类编码的标准化,可以杜绝自然语言描述下的不规则和理解偏差,便于信息系统数据管理,以提高数据质量和管理的效率。
以物料主数据为例,可以将物料主数据分类码分为大类码、中类码、小类码物料编码采用8位流水码,编码宜采用阿拉伯数字;编码应简单化,不宜用具有特殊含义的字符进行编码;各类物料编码规则和长度应保持统一,并且采用流水码——可以保证编码的唯一性,就是通常所说的“一物一码”。
物料主数据模型示意
物料分类示例
主数据属性描述规则是指对某一类主数据描述规则的定义,目的在于解决主数据属性描述的规范化问题,包括自然属性、取值范围和相互关系的确定。主数据属性描述规则主要由特征量及特征量相关关系(如连接符、前置符、后置符等)组成。主数据的属性可以分为基本属性、特征属性、业务属性。
物料主数据属性描述规则
物料描述范例
物料描述范例
主数据提报指南用于明确主数据分类原则、编码规则及描述规则的填写方法。为了规范主数据应用、提高主数据质量、缩短主数据提报和审核周期,需要组织代码审核人员结合业务实际,对主数据的分类原则、描述规则,以及填写主数据条目提报模板时的注意事项进行详细说明,并对审核过程中发现的问题进行归纳和总结,编制主数据代码提报指南。
(2)主数据模型标准主数据模型标准是用于确定数据唯一性的属性集合,通常由一个或多个业务属性、管理属性、技术属性共同构成。这些属性都具备客观性、稳定性和唯一性。例如一款商品的规格型号、某人的出生日期、企业的统一社会信用代码等,都可以被当作是某一类主数据的某一项描述属性。主数据模型标准建设随着业务标准的建设梳理过程而建立。相对于主数据业务标准建设过程,主数据模型标准建设比较简单。
以外部单位为例,外部单位主数据模型分为基本视图、银行视图和权限视图,具体介绍如下。
序号 |
字段名称 |
类型 |
是否必填 |
编辑/选择 |
选项值列表 |
备注 |
|
1 |
单位代码 |
VARCHAR2(50) |
Y |
系统自动生成 |
|||
2 |
单位全称 |
VARCHAR2(500) |
Y |
手工输入 |
|||
3 |
单位简称 |
VARCHAR2(500) |
N |
手工输入 |
|||
4 |
英文全称 |
VARCHAR2(500) |
N |
手工输入 |
|||
5 |
英文简称 |
VARCHAR2(500) |
N |
手工输入 |
|||
6 |
单位性质 |
VARCHAR2(10) |
Y |
只选 |
-1企业-2政府机关-3事业单位-5军队-6外国企业-7个人-9其他 |
||
7 |
是否三证合一 |
VARCHAR2(10) |
Y |
只选 |
0:否,1:是 |
||
8 |
统一社会信用代码 |
VARCHAR2(20) |
Y/N |
手工输入 |
|||
9 |
工商注册号 |
VARCHAR2(20) |
Y/N |
手工输入 |
|||
10 |
税务登记证号 |
VARCHAR2(20) |
Y/N |
手工输入 |
|||
11 |
组织机构代码 |
VARCHAR2(20) |
Y/N |
手工输入 |
|||
12 |
个人有效证件号 |
VARCHAR2(50) |
Y/N |
手工输入 |
如果是中国人填身份证号,否则填护照号 |
||
13 |
国家 |
VARCHAR2(10) |
Y |
只选 |
从通用基础主数据选取 |
||
14 |
省份/直辖市 |
VARCHAR2(10) |
Y/N |
只选 |
从通用基础主数据选取,当“国家”为中国时,该字段必填必选 |
||
15 |
城市 |
VARCHAR2(10) |
Y/N |
只选 |
从通用基础主数据选取,当“国家”为中国时,该字段必填必选 |
||
16 |
法人姓名 |
VARCHAR2(100) |
N |
手工输入 |
|||
17 |
注册地址 |
VARCHAR2(500) |
N |
手工输入 |
|||
18 |
邮政编码 |
VARCHAR2(100) |
N |
手工输入 |
|||
19 |
电话号码 |
VARCHAR2(100) |
N |
手工输入 |
|||
20 |
传真号 |
VARCHAR2(100) |
N |
手工输入 |
|||
21 |
电子邮箱 |
VARCHAR2(100) |
N |
手工输入 |
|||
22 |
备注 |
VARCHAR2(500) |
N |
手工输入 |
序号 |
字段名称 |
类型 |
是否必填 |
编辑/选择 |
选项值列表 |
备注 |
1 |
银行账号 |
VARCHAR2(50) |
Y |
手工输入 |
||
2 |
开户名称 |
VARCHAR2(100) |
Y |
手工输入 |
||
3 |
银行名称 |
VARCHAR2(100) |
N |
只选 |
||
4 |
分行名称 |
VARCHAR2(100) |
Y |
只选 |
||
5 |
分行行号 |
VARCHAR2(20) |
Y |
只选 |
||
6 |
银行国家 |
VARCHAR2(10) |
Y |
只选 |
来源于通用基础类主数据 |
|
7 |
省份 |
VARCHAR2(10) |
Y |
只选 |
来源于通用基础类主数据 |
|
8 |
城市 |
VARCHAR2(10) |
Y |
只选 |
来源于通用基础类主数据 |
序号 |
字段名称 |
类型 |
是否必填 |
编辑/选择 |
选项值列表 |
备注 |
1 |
内部单位代码 |
VARCHAR2(20) |
Y |
来源于主数据内部单位 |
||
2 |
创建时间 |
VARCHAR2(20) |
Y |
主数据集成服务标准包括主数据规范格式、集成技术选择标准、集成技术规范、开发规范、外围系统接入规范等。
包含了参数格式、主数据类型规范、数据量约束及传输协议等。
参数格式:原则上,主数据服务的每个操作都应该只有1个输入参数、1个输出参数和1个错误参数。输入参数和输出参数以XML标准格式进行组织。考虑到系统中很多服务并没有按照这种规范来实现,针对一些公共服务,比如HR相关的服务,由多个系统调用获取组织架构、员工信息的服务。为了使服务调用方的改动最小,这部分服务保持原有的方式不变。其余的服务,特别是在系统流程中的服务,按照此原则进行改造。
主数据类型约束:系统间的接口在交互时,为避免因数据格式产生不兼容,基本数据类型被统一为字符型和数字型两种。对于日期型数据,被处理为字符型数据,统一日期格式为:“YYYY-MM-DD HH24:MM:SS”(例如“2015-01-05 13:30:30”),日期格式的处理由各个系统的程序自己实现。
数据量约束:在实现系统间集成时,应当总是优先选择实时、增量的集成方式,尽力避免定时、批量的数据传输。
包含了主数据集成选型标准、集成技术标准、流程集成选型标准、界面集成选型标准。集成技术选择需要考虑到不同类主数据实际情况,例如:
集成系统接口传输数据量小于1MB考虑Web Service。数据量在1MB~10MB考虑使用ETL工具,数据量在10MB以上的优先考虑OGG,其次考虑文件传输。
系统集成优先考虑提供Web Service/Restful接口,其次考虑数据库层面集成,最后考虑其他集成方式如文件。
集成系统优先考虑实时集成,其次考虑定时轮询。
数据发布量较小时,可采用订阅方式,否则建议通过ETL。
针对集成系统接口数据量小且定时同步的情况,统一通过ESS进行调度。
包含主数据集成规范、服务集成规范、流程集成规范、界面集成规范。考虑到主数据集成方式,各种集成方式的适用场景如下:
JMS消息:集成异步应用系统。
Web Service/Restful:集成任何提供Web Service技术的异构系统。
文件/FTP/SFTP/E-mail:松耦合集成完全封闭的私有系统。
JDBC:直接集成数据库中的数据。
MQ / Tibco EM:集成第三方专用软件。
Tuxedo:集成Tuxedo开发的应用。
包含命名规范、需求规范、架构规范、设计规范、实现规范、测试规范、部署规范、管控规范。
包含了源系统接入规范、不对外提供目标源系统接入规范、FTP/SFTP协议源系统接入规范、单向系统接入规范、特殊源系统接入规范等。
对于FTP/SFTP协议源系统接入规范,由于目标源系统的特殊性和局限性,致使系统只能使用FTP/SFTP协议与外围系统进行对接。因此集成时只能采用FTP/SFTP的方式进行集成,没有其他的集成方式可以选择。
主数据标准制定过程包括需求阶段、制定阶段、征求意见阶段、评审发布阶段及最终的贯标执行阶段,其中各个阶段都是关键步骤,是必不可少的环节。
4.1主数据标准制定过程
主数据标准制定是一个漫长又复杂的过程,也是一个制度与人员协同配合的严密过程。主数据标准制定流程指导主数据标准的制定、实施过程,是实现高效主数据管理的基础和关键。
主数据标准制定过程
4.2主数据标准贯彻策略主数据贯标策略
策略 |
贯标后效果 |
优点 |
缺点 |
适用条件 |
主要工作内容 |
策略一: 完全一致贯彻标准 即所有系统采用同一套标准代码 |
各系统数据完全一致 |
(1)数据完全一致,为后续业务数据查询、统计分析奠定基础; (2)满足集中集成要求,辅助决策提供支撑 |
(1)贯彻标准,投入大、对现有业务系统冲击和影响较大; (2)贯彻标准,前后业务数据不连续 |
(1)年底财务年结完成后; (2)新系统改造上线; (3)业务人员成熟度高 |
(1)新旧编码转换; (2)人员培训; (3)未结业务清理,包括库存盘点、财务结转、合同改签等 |
策略二: 映射策略贯彻标准 即原有系统代码不变,采用与集团标准代码对照 |
各系统数据不一致,但映射对照关系清楚 |
(1)对现有系统业务冲击较小; (2) 贯彻标准 阻力小; (3)基本能满足常规的统计和分析要求 |
存在两套以上的代码,维护工作量较大,容易出错 |
系统有富余字段存放映射信息 |
(1)增加映射字段,维护映射信息; (2)统计分析报表中增加对照列 |
策略三: 择机贯彻标准 相对独立的业务系统暂时不动,择机贯彻标准 |
部分相对独立的业务系统维持现状,各系统数据存在不一致的情况 |
对现有系统无影响 |
部分业务系统信息代码不一致 |
业务孤立的异构系统,没有业务集成和数据交换需求;短期内系统要被改造或替代 |
无 |
主数据及主数据管理是企业数字化转型的坚实根基,是企业数据资产管理的核心。主数据是具备企业高业务价值的重要数据资产。与海量的数据相比,主数据描述了企业的核心业务实体,承载了企业的核心业务流程,它可以跨业务、跨系统、跨部门地被重复利用,其重要性不言而喻。主数据管理通过构建准确、唯一、权威的数据来源形成企业主数据管理体系,进一步提高企业数据质量和数据资产价值,全面增强企业核心竞争力。
小亿之前分享过很多主数据管理的方法论和实操经验,今天通过一个案例详细拆解主数据项目落地全流程步骤,并分享项目重难点解决经验,帮助项目经理避坑。希望对你有所帮助!
01项目背景
某大型国有企业,是一家综合性的国有资本投资运营公司。经过数十年的信息化建设取得了长足发展,对关键业务环节都采用了信息化手段管控和数据沉淀,已经建立了包括合同管理系统、人力资源系统、OA、门户系统、财务系统集群(预算、共享、资金、核算系统)、采购管理平台、档案管理系统在内的多个信息化系统,且运行多年,积累了一定数量的各类型数据,系统之间通过API打通。主数据管理存在以下问题:
同一数据在不同业务系统存在不同的名称和属性,导致“一物多码”的现象
不同业务系统由各部门独立维护,彼此间相互独立,形成了数据孤岛
主数据分散在各业务系统中,数据质量差、数据标准不一致,数据缺乏权威性
集团缺乏统一的数据交互平台,业务系统之间存在数据壁垒,数据集成、交互成本高
以上这些导致各业务系统之间数据集成和交互水平较低,难以形成有效的系统协同和数据决策支撑。当系统间进行数据集成和交互时,会耗费大量的人力、物力、财力资源来支撑业务流程及决策分析。
02项目规划
此项目的整体目标是要打造“四个一”,即一个体系建设,建立适合于各业务板块都能通用的主数据管理体系,以满足集团主数据管理精细度的需求;一套组织规划,建立主数据管理的基础能力,设置合适的标准化组织、流程机制与平台固化主数据管理的工作,实现数据分类管理;一套落地标准,按照新制定标准逐步规范统一全集团主数据,保证各个系统中的主数据标准一致,主要包括属性标准、编码一套落地标准标准、流程标准等统一;一套主数据管理平台,实现与业务系统(PM、MIS、NC、OA、专家系统等)数据分发集成。
最终实现主数据统一管理、满足主数据业务需求,保障主数据高质量,构建主数据高效共享、提升企业运营效率、降低主数据管理成本等目标。
整个项目的建设思路从管理和技术两个层面进行,最终形成主数据管理组织、主数据管理制度、数据标准管理制度、主数据建设范围、主数据历史数据初始化、主数据模型落地、主数据审批流程落地、主数据分发流程落地、主数据系统用户落地、主数据运行模式落地。
整个建设内容是从分散管理模式到集中管理的模式,主要包括体系建设如组织制度、标准体系等建设,然后是平台能力的建设,需要有一个主数据管理平台的工具去高帮助我们高效的去实施主数据项目,最后是主数据治理的一个服务,包括主数据实施过程中要去开展哪些工作,以及主数据建设完成之后如何去运营,持续的去产出高效的主数据。
02项目实施落地
主数据项目实施的标准流程,分为咨询规划和实施落地两大部分,主要是四大步骤,分别是现状分析评估、体系规划、实施规划、平台搭建与落地。
现状分析与评估:是要了解企业的一个现状是什么样的,将企业现在的问题识别出来,以及现在企业的数据管理成熟度了解清楚。
体系规划阶段:就要去设计企业内部的一个组织架构、企业的主数据管理制度、考核办法标准规范以及主数据运营怎么去设计。
主数据实施:有了一个顶层设计规划之后,就要去落地主数据实施,制定编码分类、属性、字段、审批流程、整合清洗分发、集成切换策略等,主数据实施的过程中是根据这些策略去执行的。
平台落地:将主数据实施内容了解清楚之后就到主数据管理平台上去进行落地了,包括主数据模型、主数据维护以及主数据治理相关的内容落地。
整个项目实施落地,具体展开来讲包括以下内容:
一、咨询规划-整体调研方案
在咨询规划阶段我们主要是通过调研方式来了解整体项目需求:
1.明确调研目标:充分了解集团企业在数据管理、数据分类、数据标准、数据维护等方面的现状以及需求期望
2.调研对象:也主要是团本部业务部门及其分子公司的业务部门
3.调研方式:主要是问卷调研、现场访谈两种形式
调研完成之后我们会产出相应的一个部门访谈记录,以及主数据的一个调研报告。
二、咨询规则-需求调研细节
在主数据调研时,会涉及一些比较基础知识层面的细节,比如主数据模型的视图,会有1:1 、1:N、1:M:N的情况,像人员主数据里,一个人只能对应一个性别,这是1:1的情况;而一个客商他可能有多个银行账号,在银行客商基本信息里面录一条信息,然后在客商的银行账号里面可以录多个银行账号。
然后主数据模型字段调研里需要去了解这个模型里面有哪些字段,技术标准用的都是些什么,哪些字段他是引用了代码组的。
在数据集成最开始的数据获取的时候,我们要了解清楚主数据它的源头是单一源头还是多个源头,数据的各个源头是分别是从哪里获取的,数据的获取方式它到底是通过数据库表获取还是接口传输等?
△需求调研细节参考
三、咨询规划-主数据项目咨询报告
咨询报告是方便于在项目实施的时候去开展工作的,因为我们可以通过在这个咨询报告里面去了解到集团目前涉及的主数据的一个范围、应用现状及需求、主数据管理现状和建议,然后基于这个信息再去做实施层面的一些规划。
四、咨询规划-企业组织架构
在主数据项目实施过程中,按照集团主数据治理框架体系,构建三层组织架构体系,包括决策层、管理层、执行层三个方面。
第一个是决策层:主要是集团领导和集团主数据业务领导。负责对主数据管理的工作进行一个指导管理,能够帮助我们去开展工作,特别是跨部门协调的时候能够帮我们去协调资源。
第二个是管理层:主要是集团的信息中心。负责主数据的管理办法、数据标准考核制度这些基本事项的一个制定,并下发到各个业务单元和部门去推行。
第三个则是执行层:主要是各业务系统主数据对接人员。主要是负责主数据在本部门的一个贯彻落实,如何去应用,然后需求收集和日常维护的一些工作。
五、咨询规划-主数据管理制度
在咨询规划阶段要制定一个主数据管理制度,主数据管理制度体系规定了主数据管理过程中的业务、技术、实施相关规范和指引,为主数据管理平台的建设及管理提供重要的制度支撑。
六、咨询规划-主数据管理范围
本次项目涉及的系统主要是财务系统、人力资源系统、合同系统、OA系统、融资管理系统,涉及的部门包括集团各级公司综合部、财务部、风控部、人力资源部。建设的一个主数据范围是人员、部门、业务单元、银行档案、银行账号和客商,这里面可以看到对应的一个字段和对应的一个数据量。
七、实施落地-主数据平台搭建
在平台搭建层面,亿信华辰睿码主数据管理平台对于主数据的一个全生命周期的功能支撑是非常全面的,包括模型管理、分发管理、数据质量监控、工作流审批和用户权限等全方位支撑进行高效的实施主数据项目。
△睿码主数据产品架构图
七、实施落地-主数据模型建设
在主数据模型建设时常常会遇到以下几个问题,需要大家特别注意:
问题1:如何去区分主数据的一个属性字段和重要属性字段
在收集主数据属性字段时,由于业务人员对于主数据的概念并不清晰,往往会将重要属性字段识别为主数据字段,这里要加以区分和筛选。例如人员主数据里面像户口、毕业院校等信息就属于重要属性字段。
因为人力资源部门来说,它是一个重要属性资料是需要收集的,但是对于主数据来说,他的共享性可能只有人力资源部门会用到这个数据,但别的部门会不会用到这个数据呢?他可能用不到,那这样的话,那我们在收集这个主数据属性阶段的时候,要考虑这个字段是否高度共享?主数据字段别的部门有没有用到?如果用到,我们就要将他纳入到主数据属性字段,否则我们是不纳入的。
解决思路:首先要确保高度共享的字段收集齐全,再结合客户的实际需求增添重要属性字段。
问题2:多数据来源的情况下,数据如何清洗合并
这个也是建设的过程中比较难的一个点,我们面对多数据来源时,首先了解各数据源的数据情况,针对具体的数据问题提出清洗和合并建议,与客户进行讨论,确定实施方案后进行操作。
特别是组织架构的数据尤其需要注意,因为行政组织架构和业务系统的架构是有区分的。业务架构的特点,为了满足业务上的需求,从而虚构出许多不存在的部门。
八、实施落地-主数据共享
主数据共享是主数据建设完成之后,如何将它去分发到各业务系统去使用。睿码主数据管理平台是通过两种形式实现共享:
第一种是接口分发的方式,由业务系统主动获取数据,适用于业务系统对主数据实时性要求较高的情况。
另一种是通过交换任务的方式,支持定时任务执行,适用于业务系统需要批量获取主数据的情况。
03项目重难点解析
难点一:数据接入比较困难
难点分析:主数据项目要求接入财务系统和合同系统的数据,而财务系统和合同系统里面的数据都是高度涉密数据,客户内部出于对数据的安全考虑等原因,需要通过相关协议进行控制,整体审批等待时间较长。
解决方案:在需求调研的阶段就要去提前去了解数据获取的方式,尽早获取相关数据进行分析,从而避免时间上的冲突,阻碍项目进度。
难点二:数据标准定义难、质量差、改造难
难点分析:清洗接入的财务系统和合同系统相关主数据的历史数据,而在改造过程中遇到以下问题:
1.财务系统为用友NC6.5,接入的数据包含了大量的财务系统唯一标识符,需要对多个字段进行转码。
2.财务系统的部门编码历史数据牵扯了诸多业务,难以迅速整改。最终由客户集团发文,协助用友公司进行清理,用时约3周。
3.甲方项目组对于标准制定无暇顾及,无法有效的建立数据标准,只能凭借项目组成员的经验对数据标准和质量进行控制。
4.对于不同业务系统的同一类型数据如客商、组织等进行统一标准整改时,甲方项目组在我们给出建议的时候难以决策,将问题转移至我们来解决。
5.业务系统对于需要改造的相关功能有所排斥,难以推行下去。
解决方案:我们主动的去引导客户去完成相关事项的一个决议,尽可能的提供一些专业建议,把该准备的材料流程都准备好,主动去推动协调解决。推进事情建议采取三步法:1)收集需求,编写方案;2)开会讨论,确定结果;3)双方确认执行方案,通过流程化步骤解决问题。
难点三:沟通难,阻力大
难点分析:项目沟通难,涉及需要业务系统改造的地方,所遇到的阻力较大。受制于职能型组织架构模式,需要花更多的时间和精力和各职能部门沟通。主要体现在以下方面:
1.流程审批沟通与业务流程冲突,反复沟通多次未果。
2.建设客商主数据需要改造合同系统(风控部)的功能,遭到较大阻力。
3.接入天眼查接口功能时涉及费用归属时,多次讨论无果。
解决方案:阻力大是我们主数据项目实施的一个常态,在实施的过程中我们强调还是要多沟通多确认,在确认之后进行实施。建议将沟通问题加以区分,项目范围内的技术问题由项目组出面解决;对应客户内部的组织协调沟通的问题,需要甲方有能力的领导去协调去沟通。