某集成电路企业：数据治理项目

随着公司业务的不断发展，各IT系统保存了大量的数据，但数据标准不统一，数据共享难度高，数据孤岛严重，领导层无法看到贯穿各环节的全貌数据。业务人员跨系统、跨专业线分析难以实现，且不能保证数据的准确性。IT人员缺乏统一的数据管理工具支撑各IT系统数据整合。

希望借助于外部成熟的软件和经验来助力公司数字化转型，最终选择亿信华辰睿治数据治理平台，并借鉴制造业数据治理推广经验(以技术支持形式)来提升公司数字的价值,做到管对数据，管好数据，把数据转换成生产力。

系统平台建设思路按照“1+2+2“即“一个体系两个中心两个应用”进行设计。

“两个应用”分别是数据资产门户和数据API服务应用。

“两个中心”分别是汇聚中心、数据中心。汇聚中心是数据的采集汇聚及ETL功能平台；数据中心基于汇聚的数据实现数据湖/数据仓库的建设，为上层的数据治理及数据应用提供数据基础，数据中心同时要实现数据数据治理活动包括数据资产、数据质量、数据安全等相关功能。

“一个体系”是指建立数据的管理体系和管理规范体系，制定企业的数据管理模式、策略和标准，通过对数据的标准化、资产化管理，实现企业各业务数据的汇聚融合、各环节数据的一致性，实现数据的整合统一、避免数据重复和冲突影响数据的质量，影响数据分析挖掘及可视化效果。

项目建设架构如下：

1.元数据管理

• 接入了30多个业务系统的元数据，涉及到十几种数据库
• 利用元模型自定义属性的功能，自定义了多个业务属性，以此驱动业务系统补充了元数据各类属性信息，提升元数据信息可读性
• 定时元数据采集任务，实时更新对应的数据资产，采用EXCEL补录适配器进行数据补录，实现元数据属性的批量维护
• 对所在数据集成的调度任务进行了采集，进行ETL任务的血缘分析

2.数据质量管理

• 对HR系统人员基本信息（例如紧急联系人、家属信息、个人信息、员工信息等）进行了质检，并驱动业务端进行数据的补充和修改，并定期形成了数据质量报告，管理层可清晰掌握数据质量整改成效
• 对关键系统关注信息，如抽取及时性进行质检，并发送质量预警至企业微信

3.数据集成

• 涉及多种数据类型，大表数据量在十亿级别，利用表输入-hadoop 输出组件完成数据入湖工作，将来源各个业务系统的数据抽取到数据抽取到Hadoop大数据底座
• 除了完成抽取入湖工作以外，还用了多个类型的其他组件完成ETL任务开发
• 目前在运行的调度3000多个

4.数据资产

• 根据元数据智能添加资产4000+多个，涉及敏感字段资产利用数据安全进行敏感数据脱敏后在上架
• 根据资产开放API接口30+，部分接口累计调用30W+次
• 自定义多个标签，可根据标签定义资产

• 基于企业系统现状，盘点了企业各大业务系统，摸清了企业数据情况，使得IT部门对企业内部系统有了全局把控，同时，表的属性中添加了IT负责人工号、IT负责人、业务负责人工号、业务负责人、业务归属部门、等业务属性，驱动业务系统补充了元数据各类属性信息，提升数据信息可读性，让数据真正意义上有了主人。
• 利用数据资产盘点，设计数据资产门户，提供预览、下载、数据分析和API接口等服务，实现了各业务系统数据能在统一的平台进行共享查询服务，促使数据价值能充分的利用，也让IT技术部门给业务部门提供服务拥有了更便捷的方式。
• 
  
• 对原HR系统质量较差的数据进行全面的数据质量检查，初始业务人员对有质量问题的数据进行整改，有效的提高了HR系统的数据质量。
• 
  
• 利用数据安全首先识别出了敏感数据，然后数据资产上架前进行数据脱敏处理，全方位进行数据安全保障。