首页 行业百科 数据治理包括哪几个方面

数据治理包括哪几个方面

|亿信华辰大数据知识库2022-06-08

数据治理包括哪几个方面

数据治理,是企业数据治理部门发起并推行的,关于如何制定和实施针对整个企业内部数据的商业应用和技术管理的一系列政策和流程。数据治理是一套持续改善管理机制,通常包括了数据架构组织、数据模型、政策及体系制定、技术工具、数据标准、数据质量、影响度分析、作业流程、监督及考核等内容。数据治理涉及的IT技术主题包括元数据管理、主数据管理、数据质量、数据集成、监控与报告等。

一、数据治理的基本概念
数据治理是企业数据治理部门发起并推行的,关于如何制定和实施针对整个企业内部数据的商业应用和技术管理的一系列政策和流程。数据治理是一套持续改善管理机制,通常包括了数据架构组织、数据模型、政策及体系制定、技术工具、数据标准、数据质量、影响度分析、作业流程、监督及考核等内容。数据治理涉及的IT技术主题包括元数据管理、主数据管理、数据质量、数据集成、监控与报告等。


二、数据治理包括哪几个方面

数据治理项目的范围中数据安全、元数据管理、数据价值、数据开发、数据质量为关键路径。
1、数据安全
数据安全主要是对数据的安全脱敏管控和安全检查,脱敏机制有两种方案:
1)针对用户进行脱敏管理,数据仓库的每一层都需要对敏感数据进行脱敏处理,对于敏感数据申请权限的用户可以查看敏感信息,没有权限的用户只能查看脱敏表。这种脱敏机制好处在于对开发没什么影响,但加大安全管理的复杂度,需要全域扫描敏感信息,脱敏工作大。
2)在数据仓库的接入和输出进行脱敏管控:数据接入识别敏感信息,通过脱敏工具进行脱敏处理,产生脱敏表和敏感表两张表(脱敏表与敏感表之间要有映射关系),敏感数据不对中间层开放,对于数仓中间层则只有脱敏表,开发和测试的时候也只能使用脱敏表,在数据输出层,首先应用层的开发先对敏感数据进行申请,申请通过后得到敏感表的使用权,开发通过映射关系将敏感表的脱敏数据进行关联处理。
2、元数据管理
元数据从数据的角度可以分为三类:技术元数据、管理元数据和业务元数据。
技术元数据自然就是从技术的角度去描述数据,例如:表的sql、字段长度、字段类型等多种技术描述;管理元数据是包含数据管理的信息在里面,例如:表的业务属主、表的技术负责人;业务元数据是从业务的视角去描述数据,让不懂数据的人可以快速读懂数据,例如:表名称、表的血缘关系、表的字段说明、指标的统计口径等多种业务描述。
元数据的管理通常包含:血缘分析、数据生命周期。
血缘分析:对元数据的上下游进行分析,血缘分析分为了两类,首先是存在Hadoop平台的血缘分析,可用通过脚本解析出到字段级的上下游关系;其次建表有主外键的,可通过主外键建立血缘关系。
数据生命周期:数据都存在生命周期,当元数据访问量变低,数据价值不存在的时候,可将它下线清除,释放存储空间。
3、数据价值
数据治理最重要的产出物,通过数据治理能为业务带来的业务价值。对于不同看数据角色定义不同的价值,对于数据业务分析人员,通过数据标准化管理和平台搭建,让不懂数据的业务能够快速掌握数据,并可以自己进行数据挖掘、数据分析等工作。
对于高层领导,将公司的业务数据以报告的形式,让领导快速了解数据的成本及分布情况。当然不同的公司侧重的价值会不一样,数据治理同时也能有效的控制数据成本,减少因为数据带来的摩擦,提升数据质量和安全。
4、数据开发
对数据开发进行标准的流程管理是数据治理核心的一部分,首先根据公司实际情况分析、制定可落地的数据开发管理规范。过于复杂的数据开发规范维护成本高,同时也加重开发工作量,导致难以执行。过于简单的规范又无法很好的管理开发流程。最主要的还是定制完规范后拉各关联方进行评审,大家对可落地,可管理的角度是评估规范。
5、数据质量
数据质量的提升通常包含以下几个方面:
1)数据质量检查,提供可配置化的检查规则,通过脚本定时调度执行;
2)数据质量监控,提供报警规则,根据配置检查规则的阀值,对超出阀值的进行不同程级的告警和通知;
3)数据质量评估,提供数据质量评估能力,如数据一致性、完整性、正确性、合规性、及时性等,对数据进行全面检查;
4)问题处理机制,对数据问题按照流程进行处理,规范问题处理机制和步骤,强化问题认证,提高数据质量;
5)根据血缘关系和业务场景锁定高价值数据,进行高安全级别管控,避免数据出错。
三、数据治理成功要素
工欲善其事必先利其器,亿信华辰自主研发的睿治包含实时计算存储、元数据、数据质量、数据集成、数据标准、数据资产、数据交换、主数据、数据生命周期、数据安全等高度融合的十大核心模块,各模块可独立或者组合使用,打通数据治理各环节,实现了数据治理场景的全覆盖。
睿治作为国内少有的覆盖数据全生命周期的数据治理平台,以创新的方式保证企业的业务数据在采集、汇总、转换、存储、应用整个过程中的完整性、准确性、一致性和时效性,全面为客户量身打造符合自身特征的数据治理体系。实现了数据问题一个平台全解决,使客户从此告别东拼西凑尴尬局面,从而进一步提升数据治理的全面性、连贯性、持续性,真正降低了成本。
认为本内容有帮助
2
您可能需要的数据产品
亿信华辰助力政企数字化转型
customer

在线咨询