睿治

智能数据治理平台

睿治作为国内功能最全的数据治理产品之一,入选IDC企业数据治理实施部署指南。同时,在IDC发布的《中国数据治理市场份额,2022》报告中,蝉联数据治理解决方案市场份额第一。

浅谈数据标准体系建设

时间:2021-12-02来源:知乎浏览数:355

数据标准定义
2014年3月中国人民银行发布了金融行业标准:《银行数据标准定义规范》,对数据标准定义和内容作了规范:“数据标准是对数据的表达、格式及定义的一致约定,包含数据业务属性、技术属性和管理属性的统一定义”。

业务属性包括中文名称、业务定义、业务规则等,技术属性包括数据类型、数据格式等,管理属性包括数据定义者、数据管理者等。用以确保各种重要信息在共同使用和交换中的准确性、完整性和一致性,是数据质量管理的基础。

数据标准体系建设前提条件
1.构建数据标准管理组织

数据标准体系建设需要得到企业高层的重视和支持,更需要企业的所有部门共同参与。形成高层决策、数据标准管理部门统筹、各部门参与的数据标准管理的长效机制。其中高层是数据标准化工作的最高决策机构,数据标准化工作小组负责组织推动企业数据标准化工作。

2.制定数据标准管理制度
制定相关数据标准管理办法、细则等,从制度层面明确了在标准化工作中相关方的职责,建立了数据标准制定与发布、落地执行流程、变更与复审机制,使数据标准在机制上得到保障。

标准体系建立过程
企业在进行数据标准制定和维护的过程中,经常遇到的困惑是:到底哪些数据要定义数据标准?

从业务领域出发,挖掘各个业务领域的数据治理需求,在有需求、有目标、有驱动力的前提下,企业按组织推进标准化工作。只有业务部门的深入参与识别出业务自身需求才能做好标准的治理。

从核心数据开始,如外部监管要求、多个系统共用、企业数据分析类数据等,循序渐进的制定数据标准。

按系统进行标准落标,建立了数据标准体系后,按企业核心系统推动数据标准落地应用,在需求流程中实施数据标准的强管控。而技术部门使用标准化的数据字典进行建模,实现数据字典标准化管理及应用,进而规范数据标准。对于新建系统与重构系统,应采用落标策略;而对于存量系统,可采用升标策略,不断增加数据标准。

按数据标准进行数据质量检核。针对数据治理过程中发现的重点、重要的数据质量问题,例如监管数据质量问题、数据多口径问题、数据低时效问题等,通过数据标准中的业务规则、值域、数据类型、数据格式等配置数据质量检核规则,从源头消除数据不规范等问题,进而达到提升数据质量的目的。

数据标准规范的分类
在数据管理部门进行针对各种数据项的标准化过程中,结合实际工作情况,一般可以将标准规范分为两类,一种是基础数据标准,一种是指标数据标准,以两类细分规范来进行更进一步的管理,为后续的各种数据管理工作提供便利。

(一)基础数据标准,基础标准是基于业务开展过程中直接产生的数据,未经过加工和处理的基础业务信息制定的标准化规范。

(二)指标数据标准,指标标准是指按使用场景分类,针对为满足内部分析管理需要以及外部监管需求,对基础类数据加工产生的指标数据制定的标准化规范。

基础数据标准和指标数标准根据各自业务主题进行细分,应尽可能涵盖企业的主要业务,并且覆盖企业生产系统中产生的所有业务数据。以银行为例,基础数据标准分为客户数据标准、产品数据标准、协议数据标准、渠道数据标准、交易数据标准、财务数据标准、公共代码数据标准、机构员工数据标准、地域地点数据标准等。指标数据标准包括监管合规指标、客户管理指标、风险管理资产负债指标、营销管理指标、综合经营指标等。

银行业典型基础数据标准和指标数据标准分类如图:

数据标准的内容是在开展业务过程中所涉及的数据的特性。数据标准定义框架规定了数据标准的业务属性信息、技术属性信息、管理属性信息,可应用在企业的数据管控相关领域。

数据标准定义框架如图:

业务属性包括中文名称、英文名称、标准别名、业务定义、业务规则、代码编码规则、值域、标准依据、敏感度、相关标准、与相关标准的关系。

技术属性包括数据类型、数据格式。
管理属性包括标准编号、标准主题、数据制定人、标准定义部门、标准管理者、数据使用者、业务应用领域、使用系统、标准大类、标准子类、标准状态。

数据标准定义框架中的每个具体属性不是在所有情况下都是必须的,这些属性被分为必选、条件选、可选几种约束类型。属性的约束类型由数据管控需求和环境决定,同一属性,在不同发展时期,可以有更严格或者更宽松的约束类型。例如管理属性中的“标准管理者”,根据当前数据管控环境规定为可选,未来可根据业务发展需求规定为更严格的条件选或者必选。

建设数据标准管理平台
数据标准管理平台为数据管理人员集中管理、展示和查询数据标准的综合性管理系统。数据标准管理平台的建设,必须符合数据标准管理的相关办法,落实数据标准管理相关人员的职责,固化数据标准管理的流程规范。是企业数据标准制定、发布、管理、查询、执行的系统载体。数据标准管理平台提供保存和处理数据标准内容,提供统一的数据标准管理与标准执行分析功能,为日后的企业各系统的数据标准化工作提供基础。
(部分内容来源网络,如有侵权请联系删除)
立即申请数据分析/数据治理产品免费试用 我要试用
customer

在线咨询