一、关于数据治理的理解
数据治理研究所(DGI)认为,企业不仅需要管理数据的系统,更需要一个完整的规则系统以及规章流程。数据治理基本上涵盖了企业所有与数据有关的内容,因此,在整个企业范围内,包括工作流程、涉及人员和使用的技术等等,都需要仔细考量,以保证数据的可用性、一致性、完整性、合规性和安全性。确保在整个数据生命周期中,都具有较高的数据质量。
二、数据治理需要治理什么?
1、数据规范
数据的整个生命周期内,从数据埋点开始,到数仓建库建表,到指标定义,都需要完善的数据规范来保障数据的完整性、一致性和准确性。数据规范应该包括:数仓建模规范、指标命名规范、库表命名规范、库表指标审核流程管理规范、字段命名规范等。
2、数据架构
数据从接入、存储、开发、输出到展示,通常会构建数据仓库来贯穿整个流程,所以这里可以理解为数据仓库架构。可以想象一下,如果没有合理设计数据仓库,分层之间边界不清晰,各个指标计算都可能会出现跨层加载,数据复用性低下,数据不一致等等问题。统一的数据架构能够实现数据复用,保障数据一致性,清晰数据结构和血缘。
3、数据质量
保证数据质量是数据可用的基础,我们需要通过规范来尽可能保证数据的质量,并监控数据质量的好坏,以便发现和解决问题。
4、数据安全
数据从数据源进入数仓,在数仓中流动的过程,我们都应该保障数据是安全的,不管是敏感数据,还是数据使用者应只能访问对应数据的权限。
三、数据治理的价值
1、有利于进行高效的管理
一般要对规模庞大、组织复杂、功能多样的现代企业进行有效的管理,就必须要使用到大量的数据信息和专业知识。数据治理建设方案就是对跨部门、跨业务、跨系统的数据流进行管理和控制,对业务流程进行各种优化,弥补各业务板块之间的空隙,有效避免管理工作中存在的盲点。合理有效的数据应用也可以促企业的管理效率和效能的提升。
2、有利于形成科学的决策
相比较直觉跟经验,数据可以为决策者提供更为广泛、深入和可信的数据信息,更能对事物和现象进行客观描述,促使决策者做出理性决策。而且数据治理还能够使企业内部的信息互通更流畅,提高治理和管理的透明度。
3、有利于完成迅速应变
深度融入、全力服务区域经济社会发展,是当代企业价值和综合实力的重要标志。企业要在复杂多变的社会环境中谋求发展,必须主动应对来自社会多方面领域的影响。而通过数据治理对数据进行采集和分析,实行动态的科学管理,加强对过程的监控,使企业在快速变化的复杂社会环境中做到以不变应万变。
4、有利于开展创新服务
企业要想为用户提供个性化服务,就一定要对用户的需求有充分的理解和准确的描述,同时背后需要强大的数据支撑。而通过数据治理,企业可以获得更加准确的数据和更加充分的数据分析,为用户提供个性化的服务,进而开展更多、更广泛的信息化创新服务。
四、数据治理方案
1、数据规划,顶层设计
从组织架构、政策制度、管理流程等方面对企业数据管控现状进行全面评估,完成顶层业务域及模型设计,按业务域梳理数据标准和数据关系,通过制定统一的数据标准,实现全量信息标准覆盖,高度融合数据资源。全面掌握企业的数据资产。
2、数据治理组织架构及制度建设
建立符合企业的数据治理管理体系及组织架构,明确不同层次机构的职责和任职要求,针对具体数据治理管理领域,建立数据标准管理制度、数据质量管理制度、元数据管理等制度,切实落实数据管控流程。
3、建设全局数据中心,实现数据共享
构建主数据管理,实现数据集中管理,完成数据层的集成,使数据中心成为企业范围内唯一的基础数据输出口,同时构建历史库和数据仓库,为数据应用及分析提供数据支撑,通过接口管理及发布,为相关应用系统提供共享数据访问服务。
4、建设企业数据地图
采用集中式管理模式进行元数据管理,对数据资产统一定义、统一管理,实现数据资产的规范管理和有力传承,同时提供完整、全局的企业数据资源地图,支持数据资源的组织管理及全链分析。
5、数据质量可视化
全域数据流管理与规划,使数据流向清晰可见,呈现全过程集成、数据可视化、质量可视化管理,数据质量全面分析,形成数据质量报告,建立数据质量反馈机制,全面提升数据质量。
6、数据资产服务
建立企业数据资产目录,通过“数据超市”的形式提供数据服务,包括企业内部数据共享和外部数据流通,提供数据资产收藏、下载、申请、使用、共享、流通等。用户通过在线申请和使用数据。实现数据中心数据的公开、公正、透明,贯彻数据资产管理及服务进程。