首页 亿信华辰大数据知识库 数据治理包含哪些内容

数据治理包含哪些内容

|亿信华辰大数据知识库2021-12-27

数据治理是广义信息化治理计划的一部分,即制定与大数据有关的管理优化、数据保护、数据变现的政策。

    当业务规模增长后,业务对数据提出了准确性、及时性等要求,原有的模式已不能满足业务需求,数据治理应运而生。数据治理就是将关联方通过一套完整的管理行为,形成有序的工作以达成目标。通常包括组织建设、数据安全、数据开发、数据质量、元数据管理、数据价值等内容。

元数据管理


    元数据从数据的角度可以分为三类:业务元数据、技术元数据和管理元数据。
    业务元数据是从业务的视角去描述数据,让不懂数据的人可以快速读懂数据,例如:表名称、表的血缘关系、表的字段说明、指标的统计口径等多种业务描述;技术元数据就是从技术的角度去描述数据,例如:表的sql、字段长度、字段类型等多种技术描述;管理元数据是包含数据管理的信息在里面,例如:表的业务属主、表的技术负责人。

数据安全


    数据安全主要是对数据的安全脱敏管控和安全检查,脱敏机制有两种方案:
    1)在数据仓库的接入和输出进行脱敏管控:数据接入识别敏感信息,通过脱敏工具进行脱敏处理,产生脱敏表和敏感表两张表(脱敏表与敏感表之间要有映射关系),敏感数据不对中间层开放,对于数仓中间层则只有脱敏表,开发和测试的时候也只能使用脱敏表,在数据输出层,首先应用层的开发先对敏感数据进行申请,申请通过后得到敏感表的使用权,开发通过映射关系将敏感表的脱敏数据进行关联处理。这种方案安全易管控,脱敏过程少,但会增加开发的工作量。
    2)针对用户进行脱敏管理,数据仓库的每一层都需要对敏感数据进行脱敏处理,对于敏感数据申请权限的用户可以查看敏感信息,没有权限的用户只能查看脱敏表。这种脱敏机制好处在于对开发没什么影响,但加大安全管理的复杂度,需要全域扫描敏感信息,脱敏工作大。

数据质量


    数据质量的提升通常包含以下几个方面:
1)数据质量评估,提供数据质量评估能力,如数据一致性、完整性、正确性、合规性、及时性等,对数据进行全面检查;
2)数据质量检查,提供可配置化的检查规则,通过脚本定时调度执行;
3)数据质量监控,提供报警规则,根据配置检查规则的阀值,对超出阀值的进行不同程级的告警和通知;
4)问题处理机制,对数据问题按照流程进行处理,规范问题处理机制和步骤,强化问题认证,提高数据质量;
5)根据血缘关系和业务场景锁定高价值数据,进行高安全级别管控,避免数据出错。

数据价值


    数据治理最重要的产出物,通过数据治理能为业务带来的业务价值。对于不同数据角色定义不同的价值。
    对于数据业务分析人员,通过数据标准化管理和平台搭建,让不懂数据的业务能够快速掌握数据,并可以自己进行数据挖掘、数据分析等工作。
    对于高层领导,将公司的业务数据以报告的形式,让领导快速了解数据的成本及分布情况。当然不同的公司侧重的价值会不一样,数据治理同时也能有效的控制数据成本,减少因为数据带来的摩擦,提升数据质量和安全。

数据开发


    对数据开发进行标准的流程管理是数据治理核心的一部分,首先根据公司实际情况分析、制定可落地的数据开发管理规范。过于复杂的数据开发规范维护成本高,同时也加重开发工作量,导致难以执行。过于简单的规范又无法很好的管理开发流程。最主要的还是定制完规范后对各关联方进行评审,对可落地,可管理的角度进行评估规范,执行落地。

组织建设


    数据组织是保障数据治理能够长期有效的重要手段之一,通常数据组织都是可以跨职责的,组织的职能和分类如下:
1)数据治理委员会,在公司内部拥有数据的最高决策权,代表了企业的高层视角
2)数据管理指导委员会,为数据委员会提供支持,针对一些具体数据管理措施起草相关政策和标准,提供委员会评审和批准
3)数据管理制度团队,在某个业务领域内,协助完成数据制度管理的数据管理专员小组,数据管理制度团队来着不同的部门和跨业务领域的数据专家

数据治理最佳实践方法

    目前市面上的主流数据治理平台:亿信华辰-睿治数据治理平台。睿治是一款覆盖数据全生命周期的数据治理平台,它通过对数据从创建到消亡的全过程的监控和治理,实现数据的统一管理,为企业保证了业务数据在采集、集中、转换、存储、应用整个过程中的完整性、准确性、一致性和时效性,从而帮助客户建立起符合自身特征的数据架构和数据治理体系。
认为本内容有帮助
0
您可能需要的数据产品
亿信华辰助力政企数字化转型