随着云时代的来临,大数据也吸引了越来越多的关注。大数据需要特殊的技术,以有效地处理大量的容忍经过时间内的数据。
数据治理是一个长期、复杂的系统工程,企业各层级的数据管理人员必须不断的沟通、教育和推广数据资产价值的重要性以及数据治理职能的业务贡献。提升数据使用者对数据治理的意识及对数据治理效益的认可程度,是持续改进企业
数据管理机制,充分挖掘企业数据价值,提升企业核心竞争力。
一、何为数据治理
治为整治,关注数据质量,保障数据稳定性、准确性,合理控制数据的生命周期,降低成本。理为梳理和管理,数据的基本信息、状态、关联关系等,目标是搞清有哪些数据、从哪来到哪去,最终用到什么地方。所以,数据治理是一个过程,是一个从混乱到有序的过程。以服务组织战略目标为基本原则,通过组织成员的协同努力,流程制度的制定,以及数据资产的梳理、采集清洗、结构化存储、可视化管理和多维度分析,实现数据资产价值获取、业务模式创新和经营风险控制的过程。数据治理的目的在于确保数据的质量,可用性,可集成性,安全性和易用性。
二、数据治理的重点与难点
1、确定主数据对象范围
数据分为基础数据、主数据、条件数据、事务型数据、结果型数据和报表数据,识别主数据的标准为是否最终用户使用、数据的稳定性、数据被重复使用或参考的频率等。明确了主数据对象,以及其应用的业务范围和系统范围后,主数据对象范围基本确定。
2、订数据标准规范
在该阶段,最大的捷径是在企业内部明确各个主数据对象的专家,由专家牵头,相关部门配合来梳理数据标准和制定主数据标准规范。主数据的标注规范一般包括主数据对象的数据分类、数据字典、数据描述规则、数据编码规则,确定主数据对象的主数据对象的唯一性规则(确保一物一码)、主数据对象的规范性规则(确定每一个输入框的值符合标准规范)、完整性规则(必输、可选、隐藏、显示)。
3、确定主数据维护流程
主数据维护流程一般定义为主数据修改流程、主数据新建流程、主数据归档流程、主数据冻结/解冻流程。为何要使用流程呢?因为不论是否搭建主数据管理系统(MDM系统),主数据都是由使用者提需求,相关部门做审核控制后编码。
4、历史主数据清洗
数据清理的最大难点是人的问题,需要抽调大量的人力将不符合规范要求的数据洗白,从而符合主数据管理标准规范的要求。那么,是否一定要这么做呢?答案是肯定的,唯一可以减少工作量的技巧就是对几年之内没有发生过业务的主数据不清理,这些主数据在经营或生产系统中不允许做业务,如果将来该主数据要发生,那么需要先修改成符合标准规范的数据后,再允许做业务。
5、主数据应用跟踪和分析
对活跃度的分析,可以定期清理非动态的主数据;对主数据采标率的分析,可以逐步清理干净非采标数据;对数据应用质量的监控,可以确保在主数据标准规范调整后(唯一性、完整性和规范性)的数据清洗;对数据编码进度的监控,可以提高编码效率。