人工智能在数据治理中的应用

真心实意

2023-03-24

多年的理论研究更新、技术演进和应用实践，数据治理从概念到技术已经发生了很多变化。特别是数据治理技术和人工智能技术有效的融合在一起，使智能化数据治理成为可能。亿信华辰作为数据治理领域的领航者，不断进行技术创新与产品升级，以下以睿治数据治理平台为例，看看人工智能在数据治理中的具体应用：

（1）元数据管理
1.1智能化元数据服务

睿治平台支持全自动元数据采集和关联，实现元模型智能化应用，提供图形化元数据分析视图。支持连接各种数据库自动化采集元数据，支持元数据依赖关系的自动分析和建立关联，支持从SQL中自动解析元数据和依赖关系。


（2）主数据管理
2.1智能识别主数据

确定主数据依赖于企业对于业务需求的理解和相应“黄金数据”的定义。通常来说，每个主数据主题域都有自己专用的记录系统，并且分散在各个业务系统中。人工智能相关技术可以帮助我们在所有数据中筛选出频繁出现或流动的数据，同时快速确定主数据的可靠与可信数据来源。睿治数据治理平台可自动识别主数据，帮助重复数据自动匹配和合并，构建完整的主数据视图。

2.2智能化的主数据建模

睿治数据治理平台通过灵活多样的主数据建模方式，快速构建各类主数据标准化模型，满足不同角色所需信息视图，并可详细定义分类属性及填写规范，有效保证主数据标准的固化。内置多种类型主数据成熟模型，即改即用。

（3）数据标准管理
3.1智能的数据标准推荐

睿治数据治理平台内置大量词根和同义词词典，通过算法可以向用户智能推荐需要制定标准的数据，快速创建数据标准，缩短维护标准的周期。


3.2标准智能映射匹配元数据

数据标准的设计目的是为了规范各业务系统的数据建设。睿治数据治理平台支持对数据标准设置落地映射，一条标准可根据实际业务需求进行多个映射，映射设置细化到实际业务系统对应的元数据上，为后续的落地评估提供依据，设置好的落地映射支持修改、删除。


3.3智能精确的数据标准落地评估

为了方便用户检查业务系统是否按照数据标准进行建设，睿治数据治理平台提供对数据标准进行落地评估，并支持多种方式评估，包括单条数据标准、标准集进行评估。同时支持通过数据标准和元数据双向评估标准落地情况，并且支持设置非强制性落标，设置了非强制性落标的元数据进行落标时可以例外通过，除界面手动操作评估外，睿治数据治理平台让用户通过配置定时计划任务，进行自动化评估。


（4）数据质量管理
4.1智能新建规则

数据质量是保证数据应用的基础。对于任何一个企业而言，在实施数据质量提升方案之前，需要依据不同的业务规则和业务期望选择合适的数据质量指标体系，并进行数据的清洗。睿治数据治理平台可根据数据标准快速新建质量规则。


4.2数据质量智能修复

睿治平台内置数理统计算法、绑定机器学习算法，实现自动探查数据质量，同时支持智能修复。睿治数据治理平台支持对检查出来有问题的数据按照一定的规则进行智能修复，可以支持对空值、值域、规范（身份证、日期、全半角）这些规则进行修复，方便用户对数据的整改。


（5）数据资产管理
5.1智能添加数据资产编目

数据资产盘点是数据资产管理的重点手段，睿治数据治理平台提供智能添加和手动添加数据资产的方式实现企业全场景的数据资产盘点。智能添加即通过平台元数据实现快速智能编目，可帮助企业极大的缩短数据资产编目的时间和提高效率。


5.2智能的目录活化管理

数据资产管理的重要产出物是数据资产目录。睿治数据治理平台通过可配置的资产目录完整描述数据资源的业务、技术和管理类元信息。资产目录与元数据无缝对接，支持通过元数据批量盘点数据资产，并自动活化资产目录信息，及时响应资源的变更情况。


（6）数据安全管理
6.1智能扫描识别敏感数据

数据安全治理是人工智能在数据治理全过程中的重要应用环节。睿治数据治理平台支持设置敏感数据、敏感级别设置，并对敏感数据进行监控，对数据的不当防问进行监控，了解敏感数据的分布情况。同时根据敏感数据标签可以对数据资产进行智能扫描识别敏感数据，对敏感数据自动进行标记，以及对数据资产设置敏感数据标签和敏感级别，方便进行批量加密和脱敏，极大简化用户的操作。


（7）更智能的治理成果展示
睿治数据治理平台利用最新的自然语言处理（NLP）、机器学习、知识图谱等人工智能技术，用语音/文字输入一句话，就能获取最贴切的数据分析图表。智能出图，无需做表，零门槛使用，快速的展现数据治理的成果。