方案概述
我们认为，仓湖一体化建设需要解决三个关键问题：
- 仓和湖的数据能直接与元数据无缝打通，且不需要用户人工干预；
- 仓和湖有统一的开发体验，存储在不同系统的数据，可以通过一个统一的开发 / 管理平台操作；
- 数据湖与数据仓库的数据，系统可以根据自动规则决定哪些数据放在数仓，哪些保留在数据湖，进而形成一体化。
方案内容
仓湖一体大数据中心平台是基于大数据技术的全新数据应用平台，它提供云原生特性、支持存算分离架构、继承RDBMS数据库功能和ACID特性、支持工业级SQL标准、混合MPP+DAG计算引擎等一系列关键技术。帮助企业有效应对大规模、多样化、高时效、智能化的数据应用需求，为企业从BI到AI提供全新的数据基础架构。
- 数据集成
- 实现多源异构数据高效入湖，支持批/流/实时数据多种方式接入，快速实现企业应用所需的数据铺底。
- 数据交换
- 利用底层整合的信息资源，以实现各部门业务数据在应用层面的互联互通和信息共享，提供增量识别、数据清洗、数据传输、数据压缩、一致性验证等多种手段保证数据的接入，规范数据流转，提升数据共享水平，更加有效发挥数据资产价值，并提供多套数据脱敏方案和加密算法保证数据的安全性。
- 数据开发
- 提供可视化数据开发平台，丰富的数据开发组件，全自动的作业调度和监控能力，支持多人在线协同开发，极大地降低了用户使用大数据的门槛，帮助用户快速实现数据加工与处理。
- 数据存储
- 支持存算分离架构，统一管理湖仓共享存储，同一份数据和元数据共享多种应用直接访问，分级存储进一步增强了弹性扩展能力，让企业拥有一个高可扩展的统一数据基础设施。
应用价值
-
为治理和分析应用提供数据底座
提供一个开放、灵活、可扩展的企业级统一数据存储平台， 将企业内、外部数据关联并整合，为后续的数据治理和应用夯实数据基础。
-
打破数据墙，加速数据创新
湖仓数据互联互通、多引擎协同计算，数据免搬迁。基于一份数据进行批流加工与整合，数据不出湖，分析链路短，快速消除信息孤岛，加速数据创新。
-
无代码自动化ETL，降低大数据技术门槛
基于大数据技术封装的低代码开发平台，在WEB端通过托拉拽可视化开发组件和自动化调度任务即可完成大部分数据处理流程，屏蔽大数据技术复杂难度，降低数据开发成本，赋能数据工程师开发大数据。
标杆案例
-
- 某生态环境局：智慧环保大数据平台
- 通过大数据平台将环保物联网数据与业务系统数据有效整合，通过大数据分析，构建以电子政务、环境监管、自动检测、生态综合管理为核心内容的智慧环保信息化平台。实现了环保类的检测数据与其他业务相关的数据对接，成功打破数据壁垒，建立智慧环保大数据平台，打通数据对接渠道，实现各行业、各领域数据的共享与融通，取得了很好的成效。
-
- 某能源集团：煤矿风控大数据平台
- 煤炭企业工业互联网数据包含大量传感器和视频等非结构化数据，本项目通过仓湖一体化建设方案，实现工业务链和设备数据的实时采集存储，基于业务流程搭建数据湖对感知数据、视频数据、关系型数据等多元数据进行分类存储，解决数据互联互通和实时利用的问题，实现智能预警与精准防控。