睿治

智能数据治理平台

睿治作为国内功能最全的数据治理产品之一,入选IDC企业数据治理实施部署指南。同时,在IDC发布的《中国数据治理市场份额,2022》报告中,蝉联数据治理解决方案市场份额第一。

干货!一文详解数据标准管理

时间:2022-02-17来源:小亿浏览数:206

近日,中国人民银行、市场监管总局、银保监会、证监会联合印发《金融标准化“十四五”发展规划》,其中重点提出要完善金融大数据标准体系,探索制定金融大数据采集、清洗、存储、挖掘、分析、可视化算法等技术创新配套标准,金融数据质量、脱敏、分级分类等标准,金融数据应用建模、元数据、算法评价等标准,和银行业客户交互行为数据采集等业务数据标准。

央行等四部门联合印发金融标准化"十四五"发展规划,将数据标准提到重要位置,是因为它是金融数据监管、数据安全、数据共享的一项基础工程。

而对于其他行业、其他主体来说,数据标准也发挥着重要作用。它能为业务实体的定义、关系和业务规则到技术实现之间提供清晰、标准的语义转换,提高业务和技术之间的一致性,保障数据系统能够真实反映业务事实,从而更好地支撑业务运行与经营决策,便于精细化管理。

但企业在建设数据标准的过程中往往会遇到一系列问题:难以推进、落地困难、收效甚微……如何更高效地进行数据标准的管理,我们可以从以下几个方面来重点考虑:

1.数据标准是什么?
2.谁来制定数据标准?
3.怎样制定数据标准?
4.怎样执行数据标准?
5.如何维护数据标准?

01、数据标准是什么?

我们可以将数据标准理解为一种各系统、各部门间用于沟通的共同语言。信通院发布的《数据标准管理实践白皮书》对其的定义是:数据标准是指保障数据的内外部使用和交换的一致性和准确性的规范性约束。“数据标准”并非是一个专有名词,而是一系列“规范性约束”的抽象。

数据标准不仅仅只是描述了一些需要大家去遵守的规范和要求的文档,而是一套由管理规范、管控流程、技术工具共同组成的体系。企业需要通过这一整套体系来确保各种重要信息,例如产品、客户、机构、账户等在全公司内外的使用和交换都是一致、准确的,从而实现企业的信息标准化。

02、谁来制定数据标准?

数据标准建立的过程,就是在全企业层面建立关于数据的一致性的过程。要做到这一点,我们就得首先明确,这个标准由谁来牵头制定?

不同的企业根据其实际情况,可能会有不同的实践,也可能会出现不同的问题。比如由职能部门牵头制定的标准,可能会只关注到自身领域的数据标准化需求,难以做全做深整个企业层面的数据标准,而信息部门牵头制定的数据标准,可能会由于过于专业或者技术,导致业务层面的使用不便……

所以数据标准的制定并不是某些部门的单打独斗,而是需要一个完善的管理机制,这个管理机制中的角色大致可分为三类:

1.数据标准决策层

数据标准决策层是企业数据标准管理的最高决策组织,主要职责是组织制定和批准数据标准规划、审核和批准拟正式发布的数据标准、协调业务和IT资源,解决在数据分类规划、体系建设、评审发布、执行落地中的全局性、方向性问题,推进企业整体开展数据标准化工作。

2.数据标准管理层

数据标准管理层是企业数据标准管理的组织协调部门,主要职责是根据业务需求,组织业务和IT部门,开展数据标准落地工作组织业务部门和IT部门参与数据标准管理相关工作,并推进数据管理工作的进程,同时及时将数据标准管理过程中的成果或问题报决策层审批。

3.数据标准执行层

数据标准执行层是指具体开展数据标准编制和体系建设的数据标准管理部门,通常由数据标准管理专家、相关业务和IT专家组成,主要职责是解决编制数据标准、推进数据标准落地工作中的各类具体业务问题和技术问题。

在整体的数据治理工作中,无论牵头部门是职能部门、信息技术部门、业务部门还是独立的数据管理部门,数据标准的制定过程,都离不开业务部门与技术部门的共同探讨、共同商榷,只有建立起这样一个管理机制,明确各个部分的责任划分,才能让数据标准不成为一纸空文,真正地做到可落地执行。

03、怎样制定数据标准?

数据标准的制定可以分为规划、编制和发布这3步来进行。

1.规划

数据标准的规划过程主要包括以下三个阶段:

(1)数据标准调研

数据标准调研工作,主要从企业业务运行和管理层面、国家和行业相关数据标准规定层面、信息和业务系统数据现状三个方面开展,调研内容包括现有的数据业务含义、数据标准分类、数据元定义、数据项属性规则以及相关国际标准、国家标准、地方标准和行业数据标准等。

就拿工业行业来说,就有如下标准可参考:  

(2)企业数据盘点

基于企业业务架构,从满足企业经营管理、数据分析、数据共享、数据集成等需求入手,对企业各个系统的数据资源进行盘点。

通过梳理数据现状,厘清业务开展过程中业务流、单据流以及数据流,明确数据资产分布,数据的质量情况、数据集成情况、数据管理情况等问题;明确各基础数据和指标数据的业务含义、数据口径、适用场景、数据来源、数据关系等信息。

(3)明确数据标准框架

根据数据标准调研结果以及行业的最佳实践,在对企业现有业务和数据现状进行分析的基础上,定义企业自身的数据标准体系框架和分类。

2.编制

数据标准的编制主要指数据元及其属性的确定,包括分析数据标准现状、确定数据元及其属性两个关键环节:

(1)分析数据标准现状

企业应依据业务调研和信息系统调研结果,并分析、诊断、归纳数据标准现状和问题。其中,业务调研主要采用对业务管理办法、业务流程、业务规划的研究和梳理,以了解数据标准在业务方面的作用和存在的问题;系统调研主要采用对各系统数据库字典、数据规范的现状调查,厘清实际生产中数据的定义方式和对业务流程、业务协同的作用和影响。

(2)确定数据元及其属性

数据标准的具体形态通常是一个或多个数据元的集合,即数据元是数据标准的基本单元。

企业可以依据行业相关规定或借鉴同行业实践,结合企业自身在数据资产管理方面的规定,在数据标准体系框架下,明确相应的数据元,并针对每个业务主题所涉及的数据进行建模,定义每个数据实体的业务属性、技术属性和管理属性。

这个过程如果现行的数据标准存在能够满足要求的数据元子集、代码表,则可以直接采用。如果没有就需要从业务属性、技术属性和管理属性三个方面定义新的数据标准:

①业务属性:定义数据与企业业务相关联的特性和用途,统一业务描述和理解,包括:命名规则、编码规则、业务定义、业务规则、值集、维度、粒度等。
②技术属性:定义数据与IT技术实现相关联的特性,对IT实施形成必要的指引和约束,包括:字段名称、数据类型、数据格式、数据长度、度量单位、枚举值的限定等。
③管理属性:定义数据标准在管理和使用方面各部门承担的责任,对数据归属进行确权认知,明确数据所属部门、数据管理部门、数据使用部门、标准发布日期等管理属性做出规范。

数据标准建设工作量大,我们可以选用一套完善、易用的数据标准管理工具帮助我们将数据标准建设工作落地。亿信华辰数据标准管理平台ESDataStandard提供了一套完整的数据标准管理流程及办法,平台内置标准的技术、业务、管理、质量属性,结合灵活的定义方式,从手工创建、导入、拾取、智能识别等,可帮助客户快速构建基础标准、指标标准、代码标准,同时内置的一批国标、行标,可大大提高项目交付效率。

3.发布

为了保证标准的可用性以及易用性,数据标准编制完成后的发布环节也非常关键。
这个发布环节主要是需要在初版标准的基础上,征询相关部门的意见,减小数据标准不可用、难落地的风险。在完成意见分析和标准修订后,再在公司范围内正式发布。

数据标准一经发布,各部门、各系统应按数据标准要求执行,如果需要对发布后的数据标准进行修改,需要走正式的数据标准变更流程。

04、怎样执行数据标准?

前面我们提到,数据标准并不是某个单一部门的事情,它需要组织内部达成全局性的共识,以及各部门之间的深度配合。

所以,在数据标准的建设与执行过程中,都应加强对相关人员的宣贯与培训工作,以便全组织就数据标准达成共识,并应用于实践。

数据标准落地执行一般包括四个阶段:评估确定落地范围、制定落地方案、推动方案执行、跟踪评估成效。

1.确定落地范围

首先我们要选择某一要点作为数据标准落地的目标,如业务的维护流程、客户信息采集规范、某个系统的建设等。

数据标准覆盖范围的选择我们可以从以下三个方面来考虑:
①组织范围:数据标准适用的组织范围,部门级、公司级,集团级还是行业级。
②业务应用范围:即数据标准都哪些业务部门会使用,例如,一个“客户”数据标准,就会被市场、销售、生产、采购、仓储、物流、售后等多个部门使用。
③落地系统范围:即该标准需要在哪些系统中贯彻执行,例如:“客户”数据标准,落地系统范围可能包括ERP、CRM、WMS等。

2.制定落地方案

深入分析数据标准要求与现状的实际差异,以及落标的潜在影响和收益,并确定执行方案和计划。

3.推动方案执行

数据标准执行涉及到新建系统和现有运行系统的贯标。原则上,新建信息系统必须严格按照发布的数据标准执行;对于现有在运行的系统,应按照数据标准要求进行整改或建立映射关系,以满足公司数据统一的要求。

4.跟踪评估成效

综合评价数据标准落地的实施成效,跟踪监督标准落地流程执行情况,收集标准修订需求。

05、如何维护数据标准?

业务不断发展,国标行标、监管要求可能发生变化,部分标准可能在实践中表现不佳……为了保证标准的长期有效性,对于企业内部已发布的数据标准,在不同的阶段都需要随之进行针对性的维护与改进。

1.初期

在数据标准维护的初期,首先需要完成需求收集、需求评审、变更评审、发布等多项工作,并对所有的修订进行版本管理,以使数据标准“有迹可循”,便于数据标准体系和框架维护的一致性。

其次,应制定数据标准运营维护路线图,遵循数据标准管理工作的组织结构与策略流程,各部门共同配合实现数据标准的运营维护。

2.中期

在数据标准维护的中期,主要完成数据标准日常维护工作与数据标准定期维护工作。

日常维护是指根据业务的变化,常态化开展数据标准维护工作,比如当企业拓展新业务时,应及时增加相应数据标准;当企业业务范围或规则发生变化时,应及时变更相应数据标准;当数据标准无应用对象时,应废止相应数据标准。

定期维护是指对已定义发布的数据标准定期进行标准审查,以确保数据标准的持续实用性。通常来说,定期维护的周期一般为一年或两年。

3.后期

在数据标准维护的后期,应重新制定数据标准在各业务部门、各系统的落地方案,并制定相应的落地计划。在数据标准体系下,由于增加或更改数据标准分类而使数据标准体系发生变化的,或在同一数据标准分类下,因业务拓展而新增加的数据标准,应遵循数据标准编制、审核、发布的相关规定。

另外要注意的是,在数据标准维护的各个阶段,需要对标准变更建立相应的管理流程,并做好标准版本管理。数据标准管理平台ESDataStandard支持标准增、删、改、查、发布、审核等各种基础操作,其变更过程能被自动记录,通过变更版本控制,追踪标准历史。另外平台还提供了灵活细致的用户权限管理机制,满足不同用户管理各自的标准的场景。

06、小结

数据是企业经营过程中积累的宝贵资产,做好数据标准管理这个全局性、技术性的工程,能让数据为企业创造更大的价值。

就拿国内某银行来说,该银行基于亿信华辰数据标准管理平台ESDataStandard建立了数据标准管理系统和全流程数据标准管理机制,建立了600余条基础数据标准和200余条代码数据标准。该系统的建设显著提升了向监管报送的数据质量,大大减少了IT部门数据质量处理任务工单,提升了取数效率,促进了数据分析在客户经营、绩效管理、资源配置、定价管理、风险管理等诸多方面应用与管理水平的提升。

车同轨,书同文。数字化时代,数据标准化是企业进行数字化转型的根基。建立起一个完善的数据标准,并保持其生命力,能让企业的数据治理与数字化进程如虎添翼。

(部分内容来源网络,如有侵权请联系删除)
立即申请数据分析/数据治理产品免费试用 我要试用
customer

在线咨询