睿治

智能数据治理平台

睿治作为国内功能最全的数据治理产品之一,入选IDC企业数据治理实施部署指南。同时,在IDC发布的《中国数据治理市场份额,2022》报告中,蝉联数据治理解决方案市场份额第一。

破解数据交换难点,让数据共享更安全高效

时间:2022-07-31来源:小亿浏览数:506

近些年来,各行各业信息化建设不断深入,不同部门、不同组织的信息系统越建越多,随之而来的是一座座拔地而起的“数据孤岛”,数据冗余、数据利用率低等问题阻碍着数据价值的发挥。与此同时,随着数据要素的地位的确立,数据跨领域、跨行业、跨组织交互共享的需求越来越成为众多政企刚需。

但要打破这一堵堵数据的墙并非易事。数据复杂标准不一、需求场景多样、安全性难保障等诸多问题,影响着数据的开放共享进程。

01、数据交换三大难点

1、数据复杂标准不一

不同业务组织的系统往往千差万别,分布在各个业务系统中的数据也多种多样。再加上不同的业务系统间通常存在着标准不一、质量参差不齐等问题,不同部门、不同组织对数据的定义不一样、命名不一样,导致数据数据有效交互和共享存在问题。

2、需求场景多样

大数据时代的信息化建设要求数据交换要能适应复杂的不同环境,既要支持跨组织、跨网段的、跨区域、跨境的数据交换,也要实现多层级、集团化的海量数据交换和服务,同时能够适应基于前置机、物理隔离的数据交换和服务等多种应用场景。当前一些数据交换技术运用在异构环境中时有不少共性问题,主要包括适配度低、灵活度低、实施难度大等。

3、安全性难保障

安全是发挥数据作为生产要素价值的前提条件。自国家《网络安全法》《数据安全法》《个人信息保护法》实施以来,网络安全与数据合规已经成为企业的基础合规工作,保证数据交换的传输安全是长期且重要的任务,要从平台层面整体解决,而不是简单的采用某一加密技术或其他单一的技术手段来完成。

02、亿信华辰数据交换平台助力数据畅通安全流转

针对这些政企数据交换的痛难点,亿信华辰经过深入研究,结合多年业务实践,运用成熟的数据交换技术,打造统一、安全、高效的全局数据交换管理平台——EsDataExchange,容纳多种多样数据格式,提供丰富数据处理与交换任务设计与可视化的数据交换监控,为用户构建安全可靠易用的数据交换通道。

1、产品架构
①数据源层:支持主流的数据库源、平面文本文件、Execl 文件和其它格式数据。
异构数据源适配层:基于数据库和服务器内存方式,完成异构数据源的适配、整合和交叉访问。
②落地区:包括源数据区、处理数据区、及文件存储区。
③资源库:分为运行区和设计区,运行区是数据运行环境,提供传输、调度控制服务,作业实时运行监控和系统服务质量监控,设计区是数据交换作业流程设计环境,内置码制转换、调式校验等控件。
④服务区:开放数据访问服务,提供 webservices、api 等多种接口服务,直接面向运维和浏览用户进行查询。

2、核心功能
(1)参数配置
亿信华辰EsDataExchange数据交换平台可配置采集参数、分发参数、监控参数、全局参数。
①采集参数:针对不同采集需求设置采集参数,可指定获取机制,设置不同采集模式。
②分发参数:对分发任务各环节进行预置参数控制,并考虑离线和重发等情况。
③监控参数:对数据交换调度执行情况的进行监控。
④全局参数:总体控制平台执行和控制情况,保障平台稳定运行。

(2)数据处理
传输交换管理平台提供了可视化的数据交换作业定义功能,支持作业的试运行和断点调试等,丰富的组件支持,能完成边调试作业边预览数据。另外,产品还内预置多种数据转换方式,可支持常用的聚合、集合、连接、过滤、排序、路由、表达式组件等, 满足多种数据灵活处理场景需要。

对于接入的数据,可根据业务需要进行数据清洗,支持记录级清洗和字段级清洗,内置 50 多种数据清洗规则,支持在一个组件中完成多次清洗转换设置。

(3)数据调度
①数据传输:产品采用的数据传输技术可直接在应用程序客户端进行压缩并发送,能完全兼容现有开放式接入平台的文件传输模式,具有替代其文件批量传输功能,操作简单,传送时间短,以便于未来开放式接入平台更专注于交易级数据的交换。
②数据压缩:区别于传统的数据压缩方法,产品采用智能压缩策略,可自动识别被压缩的数据类型,包括结构化数据、非结构化数据或其他类型数据,并根据数据类型自动采用不同的压缩算法,比传统 zip 压缩所采用的 deflate 压缩算法更为有效,确保 100%的数据得到高效的压缩。
③断点续传:传输交换管理平台数据传输模块提供断点续传功能,当数据传输过程中因断电或其他网络原因造成传输中断时,无需重新从头开始,支持从断点部分继续往下传输,节约文件传输时间。
④数据加密:数据传输过程中需按照数据的密级进行加密处理,保障数据安全。产品内置多种加密方法,且支持用户进行设置管理。可按照物理表元数据进行加密设置,支持对每个字段指定加密条件,满足加密设置的灵活需要。

⑤一致性验证:提供数据校验功能,根据预置的验证机制,对数据进行解密和文件签名验证, 并根据摘要信息中的文件名、文件类型、文件大小、文件修改时间等元数据信息,与实际数据文件进行一致性验证,以检查接收数据的完整性。
⑥异常报警:在数据交换运行过程中出现异常时进行报警处理,可发送 email 也可进行短信通知。
⑦调度配置:调度配置支持对交换任务各种属性进行参数限定。主要配置作业的计划执行时间。调度参数支持 crontab 表达式,能指定到月份、日期、小时、分钟的粒度,也支持按照星期的方式来进行计划任务的执行,同时还可通过 crontab 表达式自定义工作日历。
⑧调度监控:产品提供可视化监控界面,产品提供基于交换作业的语法树列表,列表的顺序需与定义的过程流的执行顺序保持一致,列表支持根据名称进行交换过程的检索,列表的手工刷新和自动刷新。

(4)运营监控
①系统监控:提供系统概况统计,展示系统使用人数、登录次数、资源访问情况等。对系统资源占用情况,也提供监控页面,直观展示出 CPU 占用率、内存占用率、活动连接数,及耗时监控。

②作业监控:产品提供了数据交换过程的作业监控功能完成对交换运行环境的管控。作业监控提供交换过程流执行情况的总览图,支持图形运行状态的手工刷新和自动刷新,图形的放大、缩小、自动布局操作。图形中对于不同运行状态的图例需要用不同颜色的图例进行区分。
③监控配置:对于系统自身资源占用,可设置系统占用监控的记录时间间隔,用于自动收集监控数据。

(5)用户及权限管理
传输交换管理平台内置了登录用户和权限管理模块。权限设置模板提供了对机构及用户的添加、删除、管理等功能,提供了对用户权限的设置功能,保证了企业级数据的安全性。

权限设置采用可视化的操作界面,只需要在要分配的权限前打勾。不需要编写任何 SQL 语句,即使非 IT 人士,也能轻松地对用户进行权限设置。

3、平台优势
(1)高适配性
数据交换平台EsDataExchange提供丰富的数据源接口,除支持主流的数据库和大数据外,还支持文本文件、 FTP服务、API接口、Web Service服务等多种形态的数据源。支持从多个异构数据源取数,能直接完成跨数据库的数据关联取数。

(2)多场景适用
平台支持多种数据项目类型如数据迁移、数据同步、数据集中、数据共享、数据仓库等。多种交换策略,定时推送、一次性交换、主动抽取、订阅等,满足实时、离线数据交换需求。灵活的体系架构,既可支持集中部署,也可支持分布部署,数据既可选择落地存储传输,也可以选择不落地方式传输交换。交换源端与目标端灵活配置,源端与目标端多种方式可任意组合。
此外,平台还可以无缝集成更多功能产品,如元数据管理数据质量、数据资产等,灵活匹配项目实际需求场景。

(3)强安全性
平台拥有的数据加密传输、断点续传、各种脱敏算法、数据权限与功能权限双重控制,让数据传输更安全可控。全面的运行监控和系统监控,完整的日志追踪,保障系统稳定,让交换过程可监管,全方位保障数据交换过程中的安全。

03、典型应用

目前,亿信的数据交换管理平台已成功应用于税务、卫生、法院、政务、交通、金融等多个行业,帮助众多客户解决数据交换、共享、集成难题。

1、佛山某大区政务服务数据管理平台

基于人口库、卫计、工商、流管数据,建立区大数据统筹局一库三部门的统一技术和业务标准;开发区域数据交换平台,完成三大部门数据的采集、传输,以及一库三部门的交换共享,提供衔接顺畅的数据申请、交换服务,并对交换日志数据进行监控分析。为各部门数据应用如自助填表系统、教育无纸化提供了高质量的数据支撑。

 佛山某大区政务服务数据管理平台架构图

2、国家卫生部部级数据应用平台

该项目是由国家卫生部统一筹划部级数据应用平台,该平台以亿信数据交换管理平台为基础,共享和整合公共卫生服务、卫生资源、医疗服务、人口信息、分级诊疗、药政统计、疾病救助等业务数据,满足了全国各省市卫生统计的个性化数据采集,确保统计数据管理和应用的可持续性。

国家卫生部部级数据应用平台架构图

3、农发行数据交换平台

针对综合业务系统、信贷、国际结算等源业务系统的数据通过亿信数据交换平台进行统一抽取,通过数据转义、码值转换等实现数据标准化,并将处理后的数据以文件或库表等形式下发给消费系统。

农发行数据交换平台架构图

04、小结

数据是在流通、应用中创造价值的,做好数据交换与共享是数据价值进一步得到激活与发挥的必要条件。亿信华辰的数据交换管理平台EsDataExchange,兼具通用性、易用性、高性能与安全性,让数据交换管理统一、安全、高效,真正让数据服务于用户。

(部分内容来源网络,如有侵权请联系删除)
立即申请数据分析/数据治理产品免费试用 我要试用
customer

在线咨询