湖仓一体特点

口头爱人

2022-11-11

湖仓一体指的是结合了数据仓库和数据湖的元素而形成的数据解决方案。它实现了数据仓库的数据结构和数据湖的可管理特性。通常既可以用来做机器学习，也可以用来做BI分析。湖仓一体的特点包括：

（1）统一的数据管理：湖仓一体提供完善的数据管理能力。数据湖中会存在两类数据：原始数据和处理后的数据。数据湖中的数据会不断地积累、演化，因此包含以下数据管理能力：数据源、数据连接、数据格式、数据schema（库/表/列/行）。同时，数据湖是单个企业中统一的数据存放场所，因此，还具有一定的权限管理能力。

（2）多模态的存储引擎：湖仓一体本身内置多模态的存储引擎，以满足不同的应用对于数据访问需求（综合考虑响应时间/并发/访问频次/成本等因素）。但是，在实际的使用过程中，为了达到可接受的性价比，湖仓一体解决方案提供可插拔式存储框架，支持的类型有HDFS/S3等, 并且在必要时还可以与外置存储引擎协同工作，满足多样化的应用需求。

（3）丰富的计算引擎：提供从批处理、流式计算、交互式分析到机器学习等各类计算引擎。一般情况下，数据的加载、转换、处理会使用批处理计算引擎；需要实时计算的部分，会使用流式计算引擎；对于一些探索式的分析场景，可能又需要引入交互式分析引擎。随着大数据技术与人工智能技术的结合越来越紧密，各类机器学习/深度学习算法也被不断引入，可以支持从HDFS/S3上读取样本数据进行训练。因此，湖仓一体解决方案提供计算引擎的可扩展/可插拔。

（4）数据全生命周期管理：湖仓一体提供一个企业中全量数据的存储场所，需要对数据的全生命周期进行管理，包括数据的定义、接入、存储、处理、分析、应用的全过程。一个强大的数据湖实现，需要能做到对其间的任意一条数据的接入、存储、处理、消费过程是可追溯的，能够清楚的重现数据完整的产生过程和流动过程。