人工智能在睿治数据治理平台中的实际应用

伴随着大数据、云计算以及算法的发展，AI（人工智能）的浪潮从几年前一直延续至今，并且广泛应用于多个行业和领域，成为下一次科技革命的一个领军技术。同样，伴随着数据量与数据来源的猛增，数据治理也成为了企业在充分挖掘利用数据价值过程中必不可少的环节，并逐渐发展为企业的核心业务之一。那么，当数据治理遇上AI，将如何相互促进和发展呢？

01、数据治理与人工智能的关系

“无治理、不分析”，没有高质量的数据，就不会有可信的AI。由于数据治理的输出是人工智能的输入，即经过数据治理后的大数据，因此数据治理与人工智能的发展存在相辅相成的关系。
（1）数据治理为人工智能奠定基础
数据治理在提升数据质量方面具有重要作用。通过定义数据质量需求、定义数据质量测量指标、定义数据质量业务规则、制定数据质量改善方案、设计并实施数据质量管理工具、监控数据质量管理操作程序和绩效等数据质量管理环节，企业可以获得干净的、结构清晰的数据，为深度学习等人工智能技术提供可信的数据输入。
数据治理为人工智能保障数据隐私。所谓隐私保护，其实就是对隐私数据的保护。最理想的情况是能够在产权层面确立相关个人作为隐私数据的合法的唯一拥有者，或至少对隐私数据实际控制者的行为严加管束，做到合法合规，这就离不开数据治理。数据治理工具从技术工具和保障措施等方面设计了保护隐私数据。
（2）人工智能对数据治理存在诸多优化作用
数据治理工作中，将大数据应用机器学习技术，作数据挖掘和分析，从而识别哪些是用户隐私性数据、哪些数据可能有异常，一旦数据特征被确认，打上标签，未来再做数据管理时，就可以使用元数据管理的方法机制，对外提供服务。比如当碰到涉及的某特殊标记数据，就会有相应的流程启动，或在相关的数据对外服务提供过程中，自动识别数据涉及的个人隐私，避免引起政策方面的风险。通过AI技术的应用，可以增强数据安全管理和元数据管理的能力。

02、人工智能在数据治理中的应用

多年的理论研究更新、技术演进和应用实践，数据治理从概念到技术已经发生了很多变化。特别是数据治理技术和人工智能技术有效的融合在一起，使智能化数据治理成为可能。亿信华辰作为数据治理领域的领航者，不断进行技术创新与产品升级，以下以睿治数据治理平台为例，看看人工智能在数据治理中的具体应用：
（1）元数据管理

1.1智能化元数据服务

睿治平台支持全自动元数据采集和关联，实现元模型智能化应用，提供图形化元数据分析视图。支持连接各种数据库自动化采集元数据，支持元数据依赖关系的自动分析和建立关联，支持从SQL中自动解析元数据和依赖关系。

（2）主数据管理
2.1智能识别主数据

确定主数据依赖于企业对于业务需求的理解和相应“黄金数据”的定义。通常来说，每个主数据主题域都有自己专用的记录系统，并且分散在各个业务系统中。人工智能相关技术可以帮助我们在所有数据中筛选出频繁出现或流动的数据，同时快速确定主数据的可靠与可信数据来源。睿治数据治理平台可自动识别主数据，帮助重复数据自动匹配和合并，构建完整的主数据视图。
2.2智能化的主数据建模
睿治数据治理平台通过灵活多样的主数据建模方式，快速构建各类主数据标准化模型，满足不同角色所需信息视图，并可详细定义分类属性及填写规范，有效保证主数据标准的固化。内置多种类型主数据成熟模型，即改即用。
（3）数据标准管理

3.1智能的数据标准推荐

睿治数据治理平台内置大量词根和同义词词典，通过算法可以向用户智能推荐需要制定标准的数据，快速创建数据标准，缩短维护标准的周期。

3.2标准智能映射匹配元数据
数据标准的设计目的是为了规范各业务系统的数据建设。睿治数据治理平台支持对数据标准设置落地映射，一条标准可根据实际业务需求进行多个映射，映射设置细化到实际业务系统对应的元数据上，为后续的落地评估提供依据，设置好的落地映射支持修改、删除。

3.3智能精确的数据标准落地评估
为了方便用户检查业务系统是否按照数据标准进行建设，睿治数据治理平台提供对数据标准进行落地评估，并支持多种方式评估，包括单条数据标准、标准集进行评估。同时支持通过数据标准和元数据双向评估标准落地情况，并且支持设置非强制性落标，设置了非强制性落标的元数据进行落标时可以例外通过，除界面手动操作评估外，睿治数据治理平台让用户通过配置定时计划任务，进行自动化评估。

（4）数据质量管理
4.1智能新建规则
数据质量是保证数据应用的基础。对于任何一个企业而言，在实施数据质量提升方案之前，需要依据不同的业务规则和业务期望选择合适的数据质量指标体系，并进行数据的清洗。睿治数据治理平台可根据数据标准快速新建质量规则。

4.2数据质量智能修复
睿治平台内置数理统计算法、绑定机器学习算法，实现自动探查数据质量，同时支持智能修复。睿治数据治理平台支持对检查出来有问题的数据按照一定的规则进行智能修复，可以支持对空值、值域、规范（身份证、日期、全半角）这些规则进行修复，方便用户对数据的整改。

（5）数据资产管理
5.1智能添加数据资产编目
数据资产盘点是数据资产管理的重点手段，睿治数据治理平台提供智能添加和手动添加数据资产的方式实现企业全场景的数据资产盘点。智能添加即通过平台元数据实现快速智能编目，可帮助企业极大的缩短数据资产编目的时间和提高效率。

5.2智能的目录活化管理
数据资产管理的重要产出物是数据资产目录。睿治数据治理平台通过可配置的资产目录完整描述数据资源的业务、技术和管理类元信息。资产目录与元数据无缝对接，支持通过元数据批量盘点数据资产，并自动活化资产目录信息，及时响应资源的变更情况。

（6）数据安全管理
6.1智能扫描识别敏感数据

数据安全治理是人工智能在数据治理全过程中的重要应用环节。睿治数据治理平台支持设置敏感数据、敏感级别设置，并对敏感数据进行监控，对数据的不当防问进行监控，了解敏感数据的分布情况。同时根据敏感数据标签可以对数据资产进行智能扫描识别敏感数据，对敏感数据自动进行标记，以及对数据资产设置敏感数据标签和敏感级别，方便进行批量加密和脱敏，极大简化用户的操作。

（7）更智能的治理成果展示
睿治数据治理平台利用最新的自然语言处理（NLP）、机器学习、知识图谱等人工智能技术，用语音/文字输入一句话，就能获取最贴切的数据分析图表。智能出图，无需做表，零门槛使用，快速的展现数据治理的成果。


03、结语

数据治理并不是一个什么“高大上”的活儿，而绝对是一个“脏活、苦活、累活”。在企业数据环境日趋复杂的今天，传统靠人工的数据治理方式，已经很难满足人们对“数据智能”的不断追求了。因此，人们需要一种更加自动化和智能化的数据治理手段，而“人工智能”无疑是一个绝佳选择。
人工智能对于提升数据治理的智能化水平具有关键作用，因此也成为数据治理发展的重要趋势。未来，通过人工智能技术降低数据治理的门槛将成为数据治理发展的重要方向。随着数据治理和人工智能两个领域的各自快速发展，未来二者的融合将会有更多场景和商业模式。