EsDataFactory

数据工厂系统

亿信数据工厂是一款自主研发的大数据集成开发平台工具,集数据集成、数据开发、ETL设计、作业调度于一体,内置批流一体计算引擎,支持企业多源海量数据的快速集成和加工,支持离线、实时数据开发,为企业打造高效的数据开发流水线,提供快捷、高效、安全的数据集成解决方案。

数据建模与ETL设计,实现数据集中管理

产品功能

数据建模及ETL开发一体化

数据建模及ETL开发一体化

平台集数据建模与ETL设计于一体,从数据接入到数据处理、加载以及模型设计、调度管理等,在建模的同时同步完成ETL流程设计,提供一站式数据建模及处理服务,弥补传统ETL工具对模型管控的缺失与不足。

面向大数据开发的低代码化组件

面向大数据开发的低代码化组件

提供丰富的大数据处理组件:消息传输组件、库表输入输出、数据装载卸载、接口组件、文件传输组件、字段转换组件、流程组件、统计组件、行列互转组件、脚本组件、CDC同步组件、大数据组件等,用于快速完成数据的入湖入仓、清洗转换、数仓加工、装载落地等处理场景。

可视化的运维监控中心

可视化的运维监控中心

支持作业发布和管理,提供作业详细的执行日志,方便信息追溯和跟踪问题。帮助用户准确掌握整个数据开发链路的运行状态,通过实时监控及时预警问题并诊断。

海量数据同步与离线开发

海量数据同步与离线开发

支持各种异构数据源,提供多种类型的数据离线处理,支持TB级的异构数据全量、增量同步,满足用户在各种大数据场景下对数据处理速度快和效率高的需求。

实时流数据处理

实时流数据处理

提供实时数据处理能力,支持CDC同步、流式计算、消息订阅,兼容多种大数据引擎(Kafka、Flume、Spark等),满足高吞吐、大数据量和低时延实时处理等多方面的数据计算要求。

去中心化调度管理

去中心化调度管理

提供分布式去中心化,易扩展的可视化作业调度功能,解决ETL任务错综复杂的依赖关系,大规模调度场景下性能受限等问题,确保任务稳定、高效运转。同时还支持重试、从指定节点恢复失败、暂停及Kill任务等管理操作。

产品架构

产品架构

产品优势

一站式数据开发

平台集数据建模、ETL开发、任务调度编排于一体,从数据接入到数据建模、数据加工直至调度管理,提供统一的可视化开发管理界面,实现数据开发全流程管理。

01

场景覆盖全面

兼容超30+数据源,可接入erp、crm、mes等业务系统,http、webservice等接口系统,OPC、Kafka等工业IOT设备系统,轻松实现入湖入仓、数据汇聚、数据交换、数据同步、离线跑批、实时处理、数据中台开发等各种场景。

02

面向大数据的架构设计

采用云原生架构,支持微服务部署,基于分布式技术,支持横向、纵向双扩展,弹性伸缩,随集群规模扩充性能可线性提升,支持万级作业调度、亿级数据高性能处理。

03

企业级的高可用性

采用去中心化技术,作业调度、任务执行层均具备高可靠检测机制,有效避免系统单点故障问题,业务故障能够自恢复,保证系统的高可靠性。

04

易用的低代码平台

99%的数据开发工作均通过可视化、拖拽式、低代码操作方式快速完成。只需2小时即可轻松掌握,数据开发成本平均降低 20%,开发效率提升 30%。

05

应用案例

  • 卫生
  • 电力
  • 制造

某卫健委:省卫生计生统计决策分析系统

建设内容:

建立数据质量控制机制,通过对卫生统计数据的质量控制,提高直报系统数据质量;升级数据交换功能,将全员人口信息、公共卫生服务相关统计分析数据传输到本系统内;升级数据分析应用功能,整合新、旧数据模块,全面升级数据模型;建立移动终端应用。

项目价值:

利用数据工厂工具重新规划并整合卫生资源、医疗服务、医改监测、计生人口、分科及中医特色等主要业务数据,为各级卫生机构提供准确、便捷的信息访问服务,为深化医改与应急救治提供信息支撑,为制定卫生计生政策规划与宏观管理提供科学依据。

EsDataFactory数据工厂系统-卫生应用案例

国家电网:一体化数据应用平台

建设内容:

一体化电网规划设计平台利用亿信i@Report数据采集、数据工厂数仓建设工具、亿信BI等工具,基于标准的数据采集分析一体化流程,建设涵盖规划信息库、输电网规划、配电网规划、电网发展诊断、输电网成果管理和配电网成果管理六大块业务需求的全业务数据中心,全面支撑电网公司规划设计业务。

项目价值:

利用“i+DF+BI”整体解决方案,完成了数据采集-->数据处理-->数据应用的一整套流程,提升了数据维护展示的适应性和实用化水平、深化了输电网计算分析功能、拓展了配电网应用功能、加强了电网发展诊断分析、优化了成果管理,提高了数据应用的整体效率,达到了项目建设的预期目标。

EsDataFactory数据工厂系统-电力应用案例

中船:船舶报表分析应用平台

建设内容:

基于最新的数据仓库、商务智能技术建设报表采集与数据分析系统,各船厂等数据填报端人员在线填报数据,数据直接进入数据仓库,数据分析人员即可对报表数据进行监控、管理、分析。其他业务系统中的数据也可以通过ETL(数据清洗、转换、加载)过程进入到数据仓库,由数据分析人员进行综合分析展现。

项目价值:

船舶报表分析平台不仅可以满足大中型船舶制造企业日常从成员单位收集统计报表数据、对报表进行处理的工作需要,而且还采用了数据仓库/商务智能等技术手段,可以满足企业进行数据综合分析的需要,解决企业数据应用过程中存在的信息孤岛、数据来源多、标准不统一等诸多问题。

EsDataFactory数据工厂系统-制造应用案例

立即体验 数据工厂系统EsDataFactory

customer

在线咨询