首页 行业百科 数据治理之道

数据治理之道

|亿信华辰大数据知识库2022-10-11

数据治理之道

近年来,数据治理成为挖掘数据价值的重要手段和工具。随着大数据平台和工业互联网兴起,数据治理平台主要采用数据中台技术和微服务架构初步替代传统架构,面向大数据架构下,为数据资源中心与外部数据系统提供数据服务。那么,数据治理到底能治什么,怎么治呢?

近年来,数据治理成为挖掘数据价值的重要手段和工具。随着大数据平台和工业互联网兴起,数据治理平台主要采用数据中台技术和微服务架构初步替代传统架构,面向大数据架构下,为数据资源中心与外部数据系统提供数据服务。那么,数据治理到底能治什么,怎么治呢?


一、什么是数据治理?

数据治理是流程、角色、政策、标准和指标的集合,可确保有效和高效地使用信息,使组织能够实现其目标。它建立了流程和职责,以确保整个企业或组织中使用的数据的质量和安全性。数据治理定义了谁可以对什么数据、在什么情况下、使用什么方法采取什么行动。


二、数据治理项目的范围
1、数据安全
数据安全主要是对数据的安全脱敏管控和安全检查,脱敏机制有两种方案:
1)针对用户进行脱敏管理,数据仓库的每一层都需要对敏感数据进行脱敏处理,对于敏感数据申请权限的用户可以查看敏感信息,没有权限的用户只能查看脱敏表。
2)在数据仓库的接入和输出进行脱敏管控:数据接入识别敏感信息,通过脱敏工具进行脱敏处理,产生脱敏表和敏感表两张表(脱敏表与敏感表之间要有映射关系),敏感数据不对中间层开放,对于数仓中间层则只有脱敏表,开发和测试的时候也只能使用脱敏表,在数据输出层,首先应用层的开发先对敏感数据进行申请,申请通过后得到敏感表的使用权,开发通过映射关系将敏感表的脱敏数据进行关联处理。
2、元数据管理
元数据从数据的角度可以分为三类:业务元数据、技术元数据和管理元数据。
1)业务元数据是从业务的视角去描述数据,让不懂数据的人可以快速读懂数据,例如:表名称、表的血缘关系、表的字段说明、指标的统计口径等多种业务描述;
2)技术元数据自然就是从技术的角度去描述数据,例如:表的sql、字段长度、字段类型等多种技术描述;
3)管理元数据是包含数据管理的信息在里面,例如:表的业务属主、表的技术负责人。
元数据的管理通常包含:血缘分析、数据生命周期。
1)血缘分析:对元数据的上下游进行分析,存在Hadoop平台的血缘分析,可用通过脚本解析出到字段级的上下游关系;建表有主外键的,可通过主外键建立血缘关系。
2)数据生命周期:数据都存在生命周期,当元数据访问量变低,数据价值不存在的时候,可将它下线清除,释放存储空间。
3、数据价值
数据治理最重要的产出物,通过数据治理能为业务带来的业务价值。对于不同看数据角色定义不同的价值,对于数据业务分析人员,通过数据标准化管理和平台搭建,让不懂数据的业务能够快速掌握数据,并可以自己进行数据挖掘、数据分析等工作。
4、数据质量
数据质量的提升通常包含以下几个方面:
1)数据质量检查,提供可配置化的检查规则,通过脚本定时调度执行;
2)数据质量评估,提供数据质量评估能力,如数据一致性、完整性、正确性、合规性、及时性等,对数据进行全面检查;
3)问题处理机制,对数据问题按照流程进行处理,规范问题处理机制和步骤,强化问题认证,提高数据质量;
4)根据血缘关系和业务场景锁定高价值数据,进行高安全级别管控,避免数据出错;
5)数据质量监控,提供报警规则,根据配置检查规则的阀值,对超出阀值的进行不同程级的告警和通知。
6、组织建设
数据组织是保障数据治理能够长期有效的重要手段之一,通常数据组织都是可以跨职责的,组织的职能和分类如下:
1)数据治理委员会,在公司内部拥有数据的最高决策权,代表了企业的高层视角。
2)数据管理指导委员会,为数据委员会提供支持,针对一些具体数据管理措施起草相关政策和标准,提供委员会评审和批准。
3)数据管理制度团队,在某个业务领域内,协助完成数据制度管理的数据管理专员小组,数据管理制度团队来着不同的部门和跨业务领域的数据专家。
7、数据开发
对数据开发进行标准的流程管理是数据治理核心的一部分,需要根据公司实际情况分析、制定可落地的数据开发管理规范。通常数据开发规范包含:数据建模、数据设计、数据项目部署和实施。
1)数据建模:定义和分析数据需求;设计满足需求的数据结构。

2)数据设计:表的关联影响分析,数据上游于哪些表,根据数据开发规范对表的命名和结构进行设计。数据项目部署和实施主要是发布管理,就不做解释了。


三、数据治理的好处
有效的数据治理策略可为组织带来许多好处,包括:
1、提高数据质量
数据治理创建了一个确保数据准确性、完整性和一致性的计划。
2、对数据的共同理解
数据治理为数据提供了一致的视图和通用术语,同时各个业务部门保留了适当的灵活性。
3、每个客户和其他业务实体的360 度视图
数据治理建立了一个框架,以便组织可以就关键业务实体的“单一版本真相”达成一致,并在实体和业务活动之间建立适当的一致性级别。
4、数据地图
数据治理提供了一种高级能力来了解与关键实体相关的所有数据的位置,数据治理使数据资产变得可用并且更容易与业务成果联系起来。
5、改进数据管理
数据治理将人的维度带入高度自动化、数据驱动的世界。它建立了数据管理的行为准则和最佳实践,确保传统数据和技术领域(包括法律、安全和合规等领域)以外的问题和需求得到一致解决。
6、一致的合规性

数据治理提供了一个平台来满足政府法规的要求,例如欧盟通用数据保护条例 (GDPR)、美国 HIPAA(健康保险流通与责任法案)和行业要求,例如 PCI DSS(支付卡行业数据安全标准)。


四、怎么做好数据治理
1、数据治理需要体系建设
为发挥数据价值需要满足三个要素:合理的平台架构、完善的治理服务、体系化的运营手段。
根据企业的规模、所属行业、数据量等情况选择合适的平台架构;治理服务需要贯穿数据全生命周期,保证数据在采集、加工、共享、存储、应用整个过程中的完整性、准确性、一致性和实效性;运营手段则应当包括规范的优化、组织的优化、平台的优化以及流程的优化等等方面。
2、数据治理需要夯实基础
数据治理需要循序渐进,但在建设初期至少需要关注三个方面:数据规范、数据质量、数据安全。规范化的模型管理是保障数据可以被治理的前提条件,高质量的数据是数据可用的前提条件,数据的安全管控是数据可以共享交换的前提条件。
3、数据治理需要IT赋能
数据治理不是一堆规范文档的堆砌,而是需要将治理过程中所产生的的规范、流程、标准落地到IT平台上,在数据生产过程中通过“以终为始”前向的方式进行数据治理,避免事后稽核带来各种被动和运维成本的增加。
4、数据治理需要聚焦数据
数据治理的本质是管理数据,因此需要加强元数据管理和主数据管理,从源头治理数据,补齐数据的相关属性和信息,比如:元数据、质量、安全、业务逻辑、血缘等,通过元数据驱动的方式管理数据生产、加工和使用。
5、数据治理需要建管一体化
数据模型血缘与任务调度的一致性是建管一体化的关键,有助于解决数据管理与数据生产口径不一致的问题,避免出现两张皮的低效管理模式。
五、关于睿治数据治理平台
通过实施数据治理工具,可以让数据质量变得更好,发掘数据资产的商业价值,实现如下目标:对业务的支撑;降低经营风险、安全保障;对决策进行支持;满足风险控制和外部监管要求;可企业持续发展。比如利用亿信华辰睿治数据治理平台可打通数据治理各个环节,数据集成、数据交换、实时计算存储、元数据管理、数据标准管理、数据质量管理、主数据管理、数据资产管理、数据安全管理、数据生命周期管理十大产品模块可独立或任意组合使用,快速满足政府、企业各类不同的数据治理场景。
认为本内容有帮助
0
您可能需要的数据产品
亿信华辰助力政企数字化转型
customer

在线咨询