数据湖特点

口头爱人

2022-11-11

数据湖是一类存储数据原始格式的系统。它通常是企业中全量数据的单一存储。全量数据包括原始系统所产生的原始数据拷贝以及为了各类任务而产生的转换数据，各类任务包括报表、可视化、高级分析和机器学习。数据湖中包括来自于关系型数据库中的结构化数据、半结构化数据、非结构化数据和二进制数据等。相比数据仓库，数据湖具有以下特征：

（1）保真性：数据湖中必须要保存一份原始数据，无论是数据格式、数据模式、数据内容都不应该被修改。

（2）灵活性：在假设没办法预估业务变化的前提下，直接保持数据的原始状态，一旦需要时，再根据需求对数据进行加工处理。

（3）可管理：数据湖中的数据会不断地积累、演化。因此，对于数据管理能力要求也很高。它至少应该包含的数据管理能力包括：数据源、数据连接、数据格式、数据模式，数据权限等。

（4）可追溯：数据湖是一个企业中全量数据的存储场所，需要对数据的全生命周期进行管理，包括数据的定义、接入、存储、处理、分析、应用的全过程。它需要能做到对其间的任意一条数据的接入、存储、处理、消费过程是可追溯的，能够清楚地重现数据完整的产生过程和流动过程。