首页 行业百科 如何做好数据治理平台?

如何做好数据治理平台?

|亿信华辰大数据知识库2022-07-31

如何做好数据治理平台?

数据治理,是企业数据治理部门发起并推行的,关于如何制定和实施针对整个企业内部数据的商业应用和技术管理的一系列政策和流程。数据治理是一套持续改善管理机制,通常包括了数据架构组织、数据模型、政策及体系制定、技术工具、数据标准、数据质量、影响度分析、作业流程、监督及考核等内容。

一、数据治理的概念定义

数据治理,是企业数据治理部门发起并推行的,关于如何制定和实施针对整个企业内部数据的商业应用和技术管理的一系列政策和流程。数据治理是一套持续改善管理机制,通常包括了数据架构组织、数据模型、政策及体系制定、技术工具、数据标准、数据质量、影响度分析、作业流程、监督及考核等内容。


二、数据治理的核心领域
1、元数据管理
元数据分为业务元数据、数据元数据和操作元数据,三者之间紧密相连。业务元数据指导数据元数据,数据元数据以业务元数据为参考进行设计,操作元数据为两者的管理提供支撑。
1)业务元数据:业务元数据是定义和业务相关数据的信息,用于辅助定位、理解和访问业务信息。
2)数据元数据:数据元数据结构性数据元数据和关联性数据元数据。
3)操作元数据:操作元数据主要指与元数据管理相关的组织、岗位、职责、流程,以及系统日常运行产生的操作数据。
2、数据存储
数据治理平台的数据存储主要包括:数据仓库宽表/主题表层和数据应用层,存储方式包括:Hive、Kylin、ClickHouse、Druid、MySql。
3、数据模型模块管理
模型模块管理能够还原业务落地后数据表的组织关系,包括:数据表的关联方式(join、left outer join、semi join等)、数据表的关联限制(where)、模型ER图、模型包含字段、模型字段与维度的绑定关系、模型与指标的绑定关系。由于数据治理平台主要是针对数据分析使用的,所以主要的模型包括维度模型中的星型模型和雪花型模型。
4、数据表模块管理
数据表模块管理涉及数据库信息和数据表信息。其中数据库信息包括数据库链接信息,数据治理平台可以自动获取维护后的数据库信息所对应库中的元数据信息。数据表信息包括:表的元数据信息(引擎、字段、描述等)、表类型(事实表、维度表)、表的使用情况(是否被模型引用)、表对应的ETL、负责人、监控报警配置、样例数据等。上述信息为业务用户提供指导,为模型管理提供数据支持,也为数据表和数据的稳定性提供监控和预警。
5、生命周期管理
生命周期管理的根本目的就是用最少的存储成本来满足最大的业务需求,使数据价值最大化。
1)周期性删除策略:所存储的数据都有一定的有效期,从数据创建开始到过时,可以周期性删除已过有效期的X天前的数据。如果某些历史数据可能已经没有价值,且占用存储成本,则可针对无效的历史数据就可以进行定期清理。
2)测底删除策略:无用表数据或者ETL过程产生的临时数据,以及不需要保留的数据,可以进行及时删除,包括删除元数据。
3)永久保留数据:重要且不可以恢复的底层数据和应用数据需要永久保留,例如底层交易的增量数据,出于存储成本与数据价值相权衡的考虑,需要永久保留,以备用于历史数据的恢复与核查。
4)冷数据管理策略:冷数据策略是永久保留策略的扩展。永久保留的数据需要迁移到冷数据中心永久保存。
6、指标模块管理
指标模块管理包括基础信息、衍生信息和技术信息管理。衍生信息包括关联指标、关联应用管理。基础信息对应的就是指标对应的业务过程信息,由业务人员编写,主要包括指标名称、业务分类、统计频率、精度、单位、指标定义、计算逻辑、分析方法、分析维度等;基础信息中还有一个比较重要的部分是监控配置,主要是配置指标的有效波动范围区间、同环比波动区间等,监控指标数据的正常运行。技术信息主要包括数据类型、指标代码,其中核心部分是指标与模型的绑定关系,通过配置对应的计算公式,或者还包括一些额外的高级配置,如二次计算、模型过滤条件等。
7、数据安全管理

数据安全管理是数据治理平台的核心功能之一,分为平台操作权限管理和接口调用权限管理。


三、数据治理平台实践
1、制定数据标准,优化流程
对企业来说,数据有很多来源。金融、人力、供应链、生产、销售等内部数据;政策、经济、社会、科技、产业、市场、竞争者等外部数据。尽管数据来源广泛,数据量大是其优势,但如果不加以整理,混乱的数据不但不利于分析应用,而且会造成不必要的财产损失。所以企业应建立统一的数据标准、数据管理流程和系统,以规范数据生产与供应过程。
2、搭建平台
对于数据治理平台的搭建,企业需要考虑用户的不同需求,从而建立不同的模块。数据治理平台的内容主要包括数据质量管理、数据标准管理、数据安全管理、数据模型工具、元数据管理、主数据管理等功能模块。我们所说的数据治理项目不是为治理数据而构建,而是与大数据平台、数据仓库、数据分析挖掘等项目相结合,通过提高数据质量、控制数据安全性,使数据发挥最大效益。
3、优化模型,确保数据安全
数据安全管理是从数据资产整理开始的。将数据资产进行整理分类,可以明确敏感数据在系统内的分布情况,判断敏感数据是如何被访问的,以及确定当前账号和授权的状态。依据数据价值和数据特性,对企业的核心数据资产进行分类,利用数据治理工具将其模型化,确定敏感数据的位置、描述和处理方法,确保数据的合法合规地使用。
四、数据治理平台商业案例
睿治智能数据治理工具由亿信华辰自主研发,融合数据集成管理、数据交换管理、实时计算存储、元数据管理、数据标准管理、数据质量管理、主数据管理、数据资产管理、数据安全管理、数据生命周期管理十大产品模块,各产品模块可独立或任意组合使用,打通数据治理各个环节,可快速满足政府、企业用户各类不同的数据治理场景。
认为本内容有帮助
0
您可能需要的数据产品
亿信华辰助力政企数字化转型
customer

在线咨询