睿治

智能数据治理平台

睿治作为国内功能最全的数据治理产品之一,入选IDC企业数据治理实施部署指南。同时,在IDC发布的《中国数据治理市场份额,2022》报告中,蝉联数据治理解决方案市场份额第一。

数据交换和服务工具

时间:2021-07-16来源:知乎浏览数:819

数据服务交换和服务工具是数据采集服务、数据交换服务、数据加工服务、数据共享服务的统一支撑工具。数据服务工具采用面向服务的架构,提供数据服务实现数据交换、数据整合、数据复制、数据的传输、数据共享等功能。主要包括运行支撑、加工组件、服务组件、数据服务总线等组成。

数据交换与服务工具

1)数据采集服务:主要负责异构、异地的多源数据到贴源缓存区的采集,实现内外部系统的结构化数据、半结构化数据、非结构化数据等不同类型、不同时效的数据的复制与整合。结构化数据和非结构化数据的复制,将异构、异地的数据库数据、文件数据复制到缓存库中。

2)数据交换服务:支持多用应用场景数据交换,如:企业内部数据交换、企业上下级数据交换、基于前置机数据交换、物流隔离数据交换。支持全量、批量、实时的数据交换;支持大数据量的数据交换;支持复杂网络环境下的可靠数据交换;支持跨网段、跨单位的数据交换;支持基于通道、文件的加密传输;支持多种数据接口和传输协议;提供数据交换日志;支持断点续传功能。

基于流加工技术的数据交换及整合服务

3)数据加工处理服务:实现数据的转换、逻辑判断、数据质量的检查、异常处理、数据路由、数据的规范化等处理,用于将贴源缓冲区的数据根据需要加工到数据存储与处理层的结构化区、非结构化区,并能给数据主题区、分析服务区、数据实验室提供规范合理的数据。支持全量、增量、实时的数据处理,基于数据流处理技术,处理在数据流引擎中进行,减轻对数据源和目标的影响;提供统一加工服务实现数据库、数据仓库、NoSQL、搜索引擎、文件、XML、We b Service、传输队列、适配器、内存表、JSON 等之间的相互交换,通过工具可视化配置通过拖拉等操作,可视化配置异构数据之间的转换、加工、映射规则。

4)数据共享服务:服务提供方做服务资源的编目,注册到目录中心;中心做服务资源的审核、维护,并将共享的服务发布出去;服务使用方查询到服务后,向中心申请使用该服务;中心审核审批通过后给申请用户授权该服务的使用;服务使用方通过安全可管理的服务总线调用该服务,实现提供方和使用方的数据交换和共享。

5)运行支撑服务: 统一的工具实现可视化配置、任务的管理、安全管理、运维监控及调度管理功能,如上主要包括可视化配置及监控、调度规则的管理及运行监控模块、调度策略模块、流程调度模块、数据总线调度、服务模块等组成。
(部分内容来源网络,如有侵权请联系删除)
立即申请数据分析/数据治理产品免费试用 我要试用
customer

在线咨询