数据治理平台系统简介

数据治理平台系统是通过质量评价、清洗加工、数据补全、融合计算、数据脱敏等各类数据治理服务对数据资源的可用性、可靠性和安全性提供总体管理的平台。

主要功能包括治理任务配置与调度、治理组件（评价、清洗、融合、脱敏等）管理、治理资源（标准、规则、脚本等）管理和元数据、主数据治理等。数据治理产品不仅为发现数据问题提供可能，更针对数据问题提出治理方法，并提供将问题数据转换为准确、可用、可靠数据的解决方案，为后续的数据流通、数据化运营、数据价值挖掘、数据创新等提供基础数据保障。

而国内现在的主流数据治理平台系统就是亿信华辰自主研发的睿治智能数据治理平台。为什么它能成为主流？因为睿治数据治理平台融合数据集成、数据交换、实时计算存储、元数据管理、数据标准管理、数据质量管理、主数据管理、数据资产管理、数据安全管理、数据生命周期管理十大产品模块，打通数据治理各个环节，十大产品模块可独立或任意组合使用，快速满足政府、企业各类不同的数据治理场景。产品架构如下：

下面分别介绍这十个模块：

数据集成

1）数据集成平台是面向数据仓库，提供数据集成和统一调度的全面、一致、历史兼容的集成平台，自动将分散的、异构数据源进行抽取、清洗、转换、集成,最后加载数据仓库或数据集市；2）提供流程化的数据集成指引，在配置完成后一键式启动数据库环境并创建数据库，数据集成实现全流程监控；3）对于集成流程和数据库的初始化过程，平台可以以脚本的形式导出来作为备份，后续可以重用；4）根据规范和标准实现数据的自动化清洗，数据清洗与融合策略支持，数据清洗融合统计分析；

数据交换

1）支持对数据传输交换节点进行可视化配置，监控节点的数据传输状态；支持各种主流数据库、文本文件、Excel文件、API接口、WebService服务等数据格式的传输，屏蔽各系统之间数据类型差异。2）系统内置各种数据交换组件、数据处理组件，如表交换、文件传输、SFTP上传下载、Http组件、清洗与转换组件，满足各种不同场景的数据传输交换需求。3）平台支持拖拽式方式设计流程，通过可视化操作界面自动生成满足业务需要的交换任务。支持定时和事件触发，通过检测执行时间、监听数据库、指定文件变化来触发调度，灵活进行数据抽取和交换。4）平台拥有的数据加密传输、断点续传、各种脱敏算法、数据权限与功能权限双重控制，让数据传输更安全可控，数据分区、并行装载技术让数据传输更高效快速。

实时计算存储

1）集成批、微批、实时流等多种处理框架满足高吞吐、大数据量和低时延实时处理等多方面的数据计算要求。2）采用分布式集群架构，具有很高的容错性、稳定性和可用性，可支持TB、PB级以上结构化与非结构化数据存储。3）采用MPP架构，以及列式数据存储模型，结合存储分区、分布式缓存等技术，轻松实现TB级数据查询秒级响应。

元数据管理

1）平台内置丰富的适配器，全面保障各类源头的元数据自动化采集，一键采集对接，同时可支持适配器快速扩展。2）元数据的应用都基于元模型。亿信元数据管理平台（EsPowerMeta）中的元模型支持CWM（公共仓库元模型）规范的同时，提供了一套便捷的自定义管理接口功能，可完全自定义扩展，能够满足元数据管理快速实施的需要，可适应用户在不同时期的不同管理需要。3）提供了完善的元模型和元数据维护功能，采用多种方式简化元数据维护的复杂性。系统支持元数据的自动获取和时间调度管理，支持手工创建和变更元数据，并配合版本管理，能完整存储元数据整个生命周期动态和变化，方便用户跟踪业务运作的历史数据。4）内置全文搜索引擎，让各层次用户可快速定位自己所关心的元数据。EsPowerMeta支持基于名称、基本属性、元数据间关系查找的同时，还支持全文搜索。通过多种组合条件的模糊查询，即可在整个元数据环境中随时检索所需元数据。5）提供图形化的元数据基础分析以及高级应用分析。不仅可从某一实体出发，快速追溯数据来源和加工过程，还能掌握元数据之间的相互影响。

数据标准管理

1）平台内置标准的技术、业务、管理、质量属性，结合灵活的定义方式，从手工创建、导入、拾取、智能识别等，可帮助客户快速构建基础标准、指标标准、代码标准，同时内置的一批国标、行标，可大大提高项目交付效率。2）平台支持标准增、删、改、查、发布、审核等各种基础操作，其变更过程能被自动记录，通过变更版本控制，追踪标准历史。另外平台还提供了灵活细致的用户权限管理机制，满足不同用户管理各自的标准的场景。3）平台可将标准智能映射业务系统元数据，定时自动评估，输出评估统计结果，从不同角度了解企业系统建设情况。4）多维度指标分析标准，了解标准总数、生效数、失效数等，标准监控还可根据客户需求进行二次改造。

数据质量管理

1）采用全导航交互式设计界面。不管是规则定义还是流程管理都无需编写sql或代码，通过图形化界面进行简单配置即可，使得非技术用户也能对定义过程和定义结果一目了然。2）亿信数据质量管理平台（EsDataClean）提供从标准定义、质量监控、绩效评估、质量分析、质量报告、重大问题及时告警、流程整改发起、系统管理等数据质量管理全过程的功能。3）智能数据质量检查调度；通过事先定义好的规则、调度时间、工作流程，自动完成数据的质量检查，极大的减少人力的投入和过程干预，提升效率，减少误差。重大问题及时告警；对质量检查的结果提供多方式（界面、邮件、短信）告警，让用户及时了解到系统检查结果，避免重大问题的延误。一键生成质量报告和评估结果；系统通过数理统计、数据分析等技术，根据事先定义好的模板，自动生成质量报告和绩效考评结果。4）亿信数据质量管理平台（EsDataClean）包含丰富的质量评价方法，并且易于扩展。系统支持数十种质量评价算法技术，满足业务系统运行、数据中心建设、数据治理过程中各类规则的定义，并可实现跨数据源的对比分析；支持通过XML扩展，可完全适应企业未来的数据质量管理需求的变化。5）多维度质量分析报表，辅助用户对问题数据进行质量分析，以便用户进行有针对性的质量改进。6）数据质量管理平台具有出色的跨平台运行能力，兼容多种操作系统，支持所有符合JDBC2.0规范的数据库。系统的质量规则检查支持多线程并发执行，百万级数据20条规则的质量检查只需2分30秒即可完成。

主数据管理

1）快速构建类似客户、供应商、员工、物料、组织、会计科目等各种主数据标准化模型，满足不同场景下所需信息视图，并可详细定义属性模板及填写规范，有效保证主数据标准的固化，同时平台提供了丰富的内置模型，大大缩短实施周期。2）平台支持集中式和分布式方式管理主数据，严格规范主数据的新增、变更、审核等流程，实现对各类主数据的全生命周期管理，可通过手工新增、导入、接口传输等多种方式汇集主数据，并提供全方位质量检查，保证主数据质量。3）为保障主数据的有效利用，平台提供了主数据分发、查询、下载、分析等多样化服务，以实现主数据价值的最大释放，同时提供丰富接口可与业务平台快速集成，满足不同业务系统对于主数据的个性化需求。4）直观的可视化监控界面，提供多种维度的监控，助力不同角色快速把控关注内容。从技术人员关注的主数据来龙去脉、数据的传输运行状况，到管理人员关注的主数据整体建设、使用、质量情况等，清晰的展现了主数据的运作轨迹，让主数据管理尽在掌控。

数据资产管理

1）平台不仅支持多种数据库、文件等结构化和非结构化物理资源的定义、盘点和规划，还能够将富含业务知识的分析模型、报表应用、主题文件集合、接口等逻辑资源封装为数据产品，全方位的盘点企业的各类数据生产要素。2）通过可配置的资产目录完整描述数据资源的业务、技术和管理类元信息。资产目录与元数据无缝对接，支持通过元数据批量盘点数据资产，并自动活化资产目录信息，及时响应资源的变更情况。3）平台中管理的数据资源可以快捷开发出多种数据服务类型，包括：数据查询、下载、共享交换、API和敏捷分析，还能提供分析产品授权使用、基于分析模型报表开发、验证接口调用、主题文件批量下载等高附加值服务。4）平台内置可自定义的数据资产服务工作流，可依据数据资产目录的权责归属划定服务申请审批对象，并支持行级数据权限的控制。消费者获取的数据可依据数据安全中对资产的分级分类要求做响应的脱敏和加密处理。5) 平台盘点的数据资产能够以数据商品的形式在数据资产门户中对业务用户开放，消费者在门户中可以通过资产分类导航、资产标签、评价等级和关键字检索的方式查找需要的数据资产，浏览数据资产详情并发起数据服务的使用申请。

数据安全管理

1）能和数据资源目录系统对接获取数据安全敏感信息，作为业务元数据的一部分进行管理；2）根据所获取的安全敏感信息（脱敏、溯源、加密、访问权限控制等），和其它设备（大数据平台、脱敏溯源系统等）配合提供完整解决方案，如和大数据平台通信下发数据加密策略、和脱敏溯源系统配合下发脱敏、溯源要求。

数据生命周期管理

数据生命周期记录数据从创建和初始存储，到它过时被删除的整个流动过程，对数据进行近线归档、离线归档、销毁和全生命周期监控。

睿治平台对数据从创建到消亡进行全生命周期监控，以数据管理和服务主力企业驱动业务目标实现。

睿治三大产品优势 

平台化：全面覆盖数据治理10大领域，采用微服务架构，融合度高，延展性强；

可视化：实现数据从创建到消亡全生命周期的可视化，也实现全角色的可视化； 

智能化：丰富的智能元素和功能，大大缩短数据管理周期、减少成本浪费。