睿治

智能数据治理平台

睿治作为国内功能最全的数据治理产品之一,入选IDC企业数据治理实施部署指南。同时,在IDC发布的《中国数据治理市场份额,2022》报告中,蝉联数据治理解决方案市场份额第一。

大数据治理平台建设过程

时间:2019-08-19来源:CSDN浏览数:1846

一、数据治理架构
分为三个层次,分别为战略与治理保障、大数据管理和大数据应用与服务,其中战略与治理保障包括,数据战略规划与评估,数据治理组织与职责、数据制度与管理流程;大数据管理包括数据标准管理、架构与模型管理、质量管理、生存周期管理以及安全管理;大数据应用与服务包括,数据分析、开放共享以及数据服务。该架构依照国标数据管理能力成熟度模型设计。

二、数据质量问题的发现与整治过程
过程共分为三个阶段:源业务系统数据分析、制定质检规则并分析源系统数据,分析质量问题影响并制定整改措施。

源业务系统数据分析阶段的分析素材:源系统操作手册、需求分析说明、数据库设计、源系统数据;

分析过程:分析业务流程、逻辑和关系,确定数据库表间和字段间关系,同时分析与该源业务系 统存在关联关系的其它系统间的业务关联关系和数据关联关系;
输出成果:数据库结构(主外键、约束、表间关系、字段长度与类型等)、业务描述(表及字段的业务含义、业务规则)。
数据质量检查阶段的输入:分析阶段的输出成果以及业务报表;
过程:编制质检规则,并以其为核心,设计质检程序或脚本,执行自动化、批量化检查。过程中对重点业务报表引用的数据表进行重点分析;
输出:质量问题清单及问题定位。
数据质量分析阶段的输入:分析阶段和检查阶段的输出成果;
过程:分析质量问题对报表的影响,即影响分析;成因分析;制定解决方案;
输出:分析报告及整改方案。
数据质量分析报告将是后续大数据治理平台的重要建设依据。

三、数据标准建设过程
建设基础数据标准和指标数据标准框架;确定标准化范围,对重要指标(属性)进行标准化。
建设过程:该过程需要业务人员和技术人员共同参与梳理和编制,补充完善标准化方案。

基础数据标准框架的内容: 可参考人民银行数据标准规范,进行划分,包括业务属性、技术属性和管理属性三大类,业务属性包括标准主题、标准大类、标准子类、标准小类、标准中文名、标准英文名、业务定义、业务规则、融合规则、叔都是服我、与相关标准关系、标准来源及依据;技术属性包括数据类型、数据格式、代码编码规则、取值范围;管理属性包括标准定义者、标准管理者、标准使用者、反馈结果描述、标准应用领域和使用系统;

指标标准建设:筛选重要业务指标()=>制定指标标准框架(确定指标分类体系、属性形成标准化定义模板)=>制定指标标准(指标定义、口径、规则、数据来源,技术部门定义标准化属性,业务部门修订和确认指标标准)

指标数据标准框架:业务属性、技术属性和管理属性。

四、建设数据平台

层次关系:属性(字段)=>实体(对象,表)=>专题(实体集合,业务专题)=>主题   (专题集合、业务域)   
模型演进过程:基础模型=>逻辑模型=>物理模型。基础模型的形成,需要依据国家或行业标准,结合具体实施单位的业务情况进行裁剪,通过保留、增加和合并的业务匹配过程,形成基础模型,划分业务主题模型框架;在进行逻辑模型设计过程中,需要复制(系统间业务含义和字段名称均不相同的字段)、整合(含义相同名称不同的字段)和拆分(含义不同名称相同的字段);之后进行属性匹配,保留、增加、合并、拆分和映射源系统到基础模型中主题、实体和属性。

完成模型设计之后,进行数据映射和ETL操作,将源表数据,参照映射文件、开发规范和加载策略,进行ETL开发和操作,将数据填充至目标表中;通过以上操作,完成整合层建设,整合层的对数据应用的意义:统一的业务视图、明细的数据、全面的数据、稳定的数据模型、完整的历史数据。

汇总层,即满足共性的数据访问需求,抽取公共指标,形成由维度和指标组成的维度模型,对符合要求的数据进行预汇总和加工。

原文地址:https://blog.csdn.net/junweishiwo/article/details/82757205

(部分内容来源网络,如有侵权请联系删除)
立即申请数据分析/数据治理产品免费试用 我要试用
customer

在线咨询