如何更有效地开展数据管理？

短发菇凉

2022-06-16

数据管理涵盖数据采集、存储、处理、治理、集成、访问等数据全生命周期的管理能力。数据资产是企业（组织）合法生成和治理形成，由企业（组织）控制和管理，并且具有分析价值的数据资源，是数字化转型的基础生产材料和驱动要素。只有将数据作为关键资源、核心资产进行有效管理，才能充分发挥数据作为创新驱动核心要素的潜能，深入挖掘数据作用，开辟价值增长新空间。

【Note】

数据管理的主要价值是通过数据要素资产化管理，提供来源更全面、格式更规范、质量更加高的持久化存储数据，更加有力支持数据要素价值挖掘，充分激活数据创新驱动潜能。为加强数据要素的开发利用，按照数据生命周期，数据管理过程包括数据采集、数据存储、数据处理、数据治理、数据集成与访问等方面：

一是数据采集。通过完善数据采集范围和手段，利用传感技术、网络爬虫技术、数据同步技术等，实现设备设施、业务活动、供应链/产业链、产品全生命周期、生产全过程乃至产业生态相关数据的自动/半自动采集，完成数字化体系中最为基础的感知工作，并通过网络传输、物理拷贝等方式完成数据向边缘侧或云端存储介质的传递，解决企业（组织）有什么数据的问题，其业务覆盖面、数据采集频率、测量精度等决定了数据资产的基础质量；

二是数据存储。数据完成采集后，以数据后续持续使用为目的，需要完成在数据持久化介质上的存储，根据不同的数据类型，可以选择文件系统、关系型数据库、图数据库、时序数据库等不同的数据管理系统存储，按照不同的使用目的，可选择数据库、数据仓库、大数据平台分别处理在线事务处理（OLTP）、联机分析处理（OLAP）、大数据分析等不同的工作负载，最终提供数据资产的对外访问能力；

三是数据处理。数据处理任务本质上完成数据集到新的数据集的转换，而这种转换的目的是通过对数据的加工，使得数据中所包含的信息进一步显性化，例如对单件销售数据进行分类统计，形成各品类销量对比数据，亦或是对时间序列数据进行频域变换，得到其谱特征，都是通过对数据的处理得到新的二次数据的过程，最终丰富企业的数据资产体系，并进一步提升数据资产在业务层面的可用性；

四是数据治理。数据治理以数据为对象，通过一系列的框架和方法指导企业开展数据资产管理工作，回答数据在哪里、数据是什么、数据谁负责等核心问题，必须管理和技术紧密结合，其重点内容涵盖数据治理战略，包括数据治理的规划、方向、目标、原则等；数据治理组织架构，包括数据治理委员会、数据治理归口管理部门及数据治理岗位人员等；数据治理制度流程，包括元数据管理、数据模型管理、数据标准管理、数据质量管理等。

五是数据集成与访问。从数据资产管理的角度，数据集成技术立足于降低多源异构数据访问复杂性，通过采用数据接口、数据交换平台等，使能多源异构数据实现在线交换、数据同步、数据连接和集成共享。在大数据场景下，数据湖等技术还提供了使用不同数据模型和差异化的访问接口的异构数据管理引擎的统一访问能力。此外，数据中台等架构体系进一步提出可以通过数据服务的方式将集成好的业务数据通过服务化接口，甚至自然语言等访问方式提升数据资产使用的易用性。

除了上述五方面之外，数据安全问题也是数据管理中不可忽略的一个重要方面，包括数据的分级分类、隐私保护、权限管理、访问行为审计、数据加密等多个方面，主要解决如何让数据资产使用的更安全的问题。