一、数据治理介绍
狭义上讲,
数据治理是指对数据质量的管理、专注在数据本身。广义上讲,数据治理是对数据的全生命周期进行管理,包含数据采集、清洗、转换等传统数据集成和存储环节的工作、同时还包含数据资产目录、数据标准、质量、安全、数据开发、数据价值、数据服务与应用等,整个数据生命期而开展开的业务、技术和管理活动都属于数据治理范畴。
数据治理专注于将数据作为企事业单位数据资产进行应用和管理的一套管理机制,能够消除数据的不一致性,建立规范的数据应用标准,提高数据质量,实现数据内外部共享,并能够将数据作为组织的宝贵资产应用于业务、管理、战略决策中,发挥数据资产价值。
二、数据治理管理核心架构
1、主数据管理
具备企业级主数据存储、整合、清洗、监管以及分发等五大功能,并保证这些
主数据在各个信息系统间的准确性、一致性、完整性。
2、元数据管理
元数据管理是对数据采集、存储、加工和展现等数据全生命周期的描述信息,帮助用户理解数据关系和相关属性。元数据管理可以了解数据资产分布及产生过程。实现元数据的模型定义并存储,在功能层包装成各类元数据功能,最终对外提供应用及展现;提供元数据分类和建模、血缘关系和影响分析,方便数据的跟踪和回溯。
3、数据资产管理
数据资产管理着力构建数据资产管理体系,通过数据资产管理可将数据规范管理和数据处理实现有机的融合,实现对具体资源数据的元数据描述,支持利用标准化的数据接口以及形式丰富图表展示工具可快速定制各类数据资产应用,配合数据资产的全面评估,实现数据资产的“三全”管理,实现数据资产的三全管理:全生命周期管理、全流程管理、全景式管理。
4、数据指标
1)数据指标定义:包含指标主题分类、各业务域具体指标定义、指标属性及模型管理。包含对指标的批量管理以及主题(即指标树)维护,其中主题维护主要包括对主题、一级主题、二级主题的维护。其中主题含投资、市场分析、财务、资产、人力资源、生产、采购、销售、库存、设备、工程、HSE、能源二十大类现有业务主题。
2)指标维度管理:主要是生产层面设置的时间维度、空间维度、物料维度以及层次维度四个维度的信息和所含具体维度进行管理。
3)指标维护:包括指标新增、修改、删除、审批、冻结、解冻、发布(分发)、导出等部分组成一个有机的整体,不同用户可根据自己的用户权限对数据指标进行申请、修改、查询、审批、冻结、解冻等功能操作。
4)指标的查询:提供对数据指标主题、属性、维度、指标以及导入表的按条件查询、模糊查询、树状查询数据等。
5)指标值的管理:实现对指标数据的集成及存储管理,定期向各系统发布。
5、数据质量管理
提供数据质量管理实现数据全生命周期的质量管理,能根据标准规则可视化配置数据质量检查策略,通过调度中心实现数据质量的检查,发现问题数据,将问题数据根据拥有者体系派给相关人员修正,并能根据需要形成数据质量评估报告和问题处理报告等。为减轻对信息系统数据库影响,数据质量检查采用数据流检查技术,数据质量检查方法及计算运行在引擎中而不是依赖数据库的SQL。
6、数据交换和服务
数据服务交换和服务是数据采集服务、数据交换服务、数据加工服务、数据共享服务的统一支撑。数据服务采用面向服务的架构,提供数据服务实现数据交换、数据整合、数据复制、数据的传输、数据共享等功能。主要包括运行支撑、加工组件、服务组件、数据服务总线等组成。
7、数据安全管理
数据安全管理的目标是建立完善的体系化的安全策略措施,全方位进行安全管控,通过多种手段确保数据资产在“存、管、用”等各个环节中的安全,做到“事前可管、事中可控、事后可查”。通过数据安全管理,规划、开发和执行安全政策与措施,提供适当的身份以确认、授权、访问与审计等功能。数据安全共享实现,数据安全需从数据采集、数据传输、数据存储、数据处理、数据共享和数据销毁6个方面进行全方位的管能力。