首页 行业百科 大数据治理包括哪些内容?

大数据治理包括哪些内容?

|亿信华辰大数据知识库2022-07-11

大数据治理包括哪些内容?

大数据治理,即基于大数据的数据治理。大数据,一般指符合4V特征的数据,包括社交数据、机器数据等,大数据对传统数据治理工作带来很多的扩展,在政策/流程上,大数据治理应覆盖大数据的获取、处理、存储、安全等环节,需要为大数据设置数据管理专员制度;需考虑大数据与主数据管理能力的集成,需要对大数据做定义,统一主数据标准。

大数据治理,即基于大数据的数据治理。大数据,一般指符合4V特征的数据,包括社交数据、机器数据等,大数据对传统数据治理工作带来很多的扩展,在政策/流程上,大数据治理应覆盖大数据的获取、处理、存储、安全等环节,需要为大数据设置数据管理专员制度;需考虑大数据与主数据管理能力的集成,需要对大数据做定义,统一主数据标准;在数据生命周期管理各阶段,如数据存储、保留、归档、处置时,要考虑大数据保存时间与存储空间的平衡,大数据量大,因此应识别对业务有关键影响的数据元素,检查和保证数据质量。此外,在隐私方面,应考虑社交数据的隐私保护需求,制定相应政策,还要将大数据治理与企业内外部风险管控需求建立联系。


一、大数据治理包括哪些内容
1、梳理业务流程,规划数据资源
对于企业来说,每天的实时数据都会超过TB级别,需要采集用户的哪些数据,这么多的数据放在哪里,如何放,以什么样的方式放?这些问题都是需要事先进行规划的,需要有一套从无序变为有序的流程,这个过程需要跨部门的协作,包括了前端、后端、数据工程师、数据分析师、项目经理等角色的参与。
2、ETL采集、去重、脱敏、转换、关联、去除异常值
前后端将采集到的数据给到数据部门,数据部门通过ETL工具将数据从来源端经过抽取(extract)、转换(transform)、加载(load)至目的端的过程,目的是将散落和零乱的数据集中存储起来。
3、大数据高性能存储及管理
这么多的业务数据存在哪里?这需要有一高性能的大数据存储系统,在这套系统里面将数据进行分门别类放到其对应的库里面,为后续的管理及使用提供最大的便利。
4、即时查询、报表监控、智能分析、模型预测

数据治理的最终目的就是辅助业务进行决策,前面的三个方面都是为最终的查询、分析、监控做铺垫。这个阶段就是数据分析师的主场,分析师们运用这些标准化的数据可以进行即时的查询、指标体系和报表体系的建立、业务问题的分析,甚至是模型的预测。


二、大数据治理关键要素
1、明确数据治理责任,建立数据治理组织
数据出了问题,到底是谁的责任?因为数据主要是IT系统产生的,所以一直以来,解决数据问题都被认为是IT部门的职责。而IT部门也饱受其苦,数据定义和业务规则,业务部门最清楚;数据录入,业务人员负责;数据使用,业务人员是用户;数据考核,业务部门有权力……但实际上,要切实解决数据问题,开展数据治理工作,就必须先清楚一点:数据治理,是业务部门和IT部门共同的职责。
2、管理出成效,制度是保障
大数据治理需要管理和制度的有力支撑,可结合企业的现状,制定相应的管理办法、管理流程、认责体系、人员角色和岗位职责等,颁布相关的数据治理的企业规章制度等。
3、数据规范
数据规范是指对企业核心数据进行有关存在性、完整性、质量及归档的测量标准,为评估企业数据质量,并且为手动录入、设计数据加载程序、更新信息以及开发应用软件提供的约束性规则,数据规范一般包括数据标准、数据模型、业务规则、元数据、主数据和参考数据。
4、数据治理活动,理论结合实践
数据治理活动是指为实现数据资产价值的获取、控制、保护、交付以及提升,对数据规范所做的计划、执行和监督工作,一般包括以下活动。
1)数据质量管理,指通过计划、实施和控制活动,运用质量管理技术度量、评估、改进和保证数据的恰当使用;
2)数据架构管理,用于定义企业数据需求,设计实现数据需求的主要蓝图,通常包括数据标准管理、数据模型管理、数据集成架构等;
3)数据安全管理,指通过计划、制定并执行数据安全政策和措施,为数据和信息提供适当的认证、授权、访问和审计;
4)参考数据和主数据管理,指通过计划、实施和控制活动,达到保证参考数据与主数据的一致性。
5)元数据管理,指通过计划、实施和控制活动,以实现轻松访问高质量和整合的元数据;
5、数据治理工具
利用数据治理软件主要解决企业不同来源数据集成过程中遇到的问题,需要数据治理软件能够为企业提供统一的元数据集成、数据标准管理、数据模型设计、数据质量稽核、数据资产目录、数据分析服务等能力。
三、大数据治理工具推荐
在实践工作中发现,数据治理工作是结合了业务、技术、流程、组织架构、专业人员和专业方法的各项工作的集合,这些工作很大程度上依赖于各类数据治理工具来实施落地。正所谓好的工具是成功的一半,一套好的数据治理工具,足可以使数据治理工作事半功倍。
在技术落地层面,需要自下向上推进,从实际内容来看,数据治理是一套工具集。亿信华辰结合十几年大数据技术经验,打造了一套完善、通用的的数据治理工具睿治数据治理平台,包括数据集成、数据交换、实时数据计算、主数据、数据标准、数据质量、数据集成、元数据、数据交换、数据资产、数据生命周期和数据安全十大功能模块,去帮助企业规范的定义与加工数据、清晰的管理数据、安全的应用数据。
认为本内容有帮助
0
您可能需要的数据产品
亿信华辰助力政企数字化转型
customer

在线咨询