东方航空：数据质量智能管理系统

通过数据标准和质量管理平台来解决业务系统运行、数据仓库建设及数据治理过程中的数据质量问题。以标准化的数据质量规范为基础，运用元数据、数据质量规则、工作流、评分卡、可视化等技术帮助项目建立数据质量管理体系，提升数据的完整性、规范性、及时性、一致性、逻辑性，降低数据管理成本，减少因数据不可靠导致的决策偏差和损失。

为加速推进国有企业数字化转型，国务院国资委设立年度重大课题《国有企业数字化转型路径研究》，研究国内外数字化转型发展规律和先进理念，分析国有企业数字化转型痛点难点，提炼成功经验、实践模式、发展方向和对策举措，形成国有企业数字化转型报告，而数字换转型的基础就是高质量的数据，在《数据安全法》中定义了数据作为基础设施建设。

基于信息化技术和互联网技术的迅速发展,数据量呈喷井式增长,数据类型也逐渐增多,并且复杂程度越来越高,现代社会已进入大数据时代.在这种背景下,要想充分发挥大数据的应用价值,必须加强数据质量管理力度。

通过数据质量工具的引入，主要满足基于湖的数据治理工作要求，实现数据探查的自动化、提高数据质量检核的易用性和可用性，提升数据探查和质量检核效率，达到入湖系统的数据探查应检必检的目标。

1、智能化落标
通过元数据名称、元数据代码、数据标准名称，结合相似度算法和机器学习等智能推荐元数据和相似的数据标准进行落标，实现落标智能化。

2、质量规则自动化
将质量标准的业务描述转化为质量规则，避免人工配置，以及对质量标准理解不同而导致的规则不同的问题，实现质量规则自动化。

3、实现治理前的数据探查
在进行数据治理之前，对入湖数据进行初步的“体检”，包括对空值率、落标率、数据类型、值域分布等数据项的查询，形成数字画像。

4、建立完善的数据质检机制
自动化标准质量规则+自定义质量规则，配合周期性质检方案和完整的质检报告，提升入湖数据可信度。

1、智能算法升级落标效率
机器学习和相似度算法结合，将现有元数据和数据标准已落标的数据进行模型训练，并且结合所有数据标准的中英文名相似库，实现更加精准和智能的落标效果。

2、完整的数据质量管控流程
通过数据质量标准所形成的规则和自定义的复杂质量检查规则，结合质量评分和质量方案预警机制，从而实现对数据的质量长期有效的实时监控，并且可结合流程进行线上、线下管理，完成问题数据整改和跟踪。