数据编织：概念、功能和价值！

Data Fabric——中文译为：数据编织，是指统一的数据管理架构和提供一致功能以方便连接数据端点并启用端到端数据管理的一组功能。

让我们看一下数据编织的架构和价值。

数据资产在孤岛中生成，并隐藏在基础设施环境的混合组合中。数据准备周期很长，用户需要一套广泛的数据管理功能来克服复杂的多供应商、多云和不断发展的数据环境所面临的限制。

Gartner 将数据编织定义为一种设计概念，它充当数据和连接过程的集成层（结构）。Data Fabric 利用对现有、可发现和推断的元数据资产的持续分析，以支持跨所有环境（包括混合云和多云平台）设计、部署和利用集成和可重用数据。

Data Fabric 利用人和机器的能力来访问数据或在适当的情况下支持其整合。它不断地识别和连接来自不同应用程序的数据，以发现可用数据点之间独特的、与业务相关的关系。洞察力支持重新设计的决策，通过快速访问和理解提供比传统数据管理实践更多的价值。

Data Fabric 架构专为应对复杂混合数据环境所面临的挑战而设计。

从本质上讲，Data Fabric 可以被描述为一个融合平台，支持各种数据管理需求，以跨所有不同的数据源和基础架构类型提供正确的 IT 服务级别。它作为一个整合框架运行，用于跨多个隔离且不兼容的数据中心部署管理、移动和保护数据。

因此，组织可以投资于符合其业务需求的基础架构解决方案，而无需担心数据服务级别、访问和安全性。

我们生活在一个前所未有的变革时代——业务和创新步伐的变化。在这种范式中，数据为每个企业的成功和繁荣提供竞争优势，组织需要快速交付数据以满足业务和客户的需求。事实上，根据Forrester 最近的一项研究，洞察驱动型企业的年增长率平均超过 30%。

认识到这一点，越来越多的组织正试图以各种方式从他们的数据中获得额外的价值，包括创造新的收入流和通过提高运营效率来降低成本。然而，随着云和物联网的普及，以及越来越便宜的存储和处理，数据不再局限于本地数据中心。数据更多，数据类型更多，而且分布在更多位置，这使得管理变得更加困难。

在这种环境下取得成功并成为数据驱动型组织并非易事。成为数字领导者的道路上有许多障碍。随着组织使用越来越多的应用程序，他们的数据变得越来越孤立且无法访问，超出其初始范围。虽然遗留基础设施和系统只会加剧问题，但在尝试迁移到云时，数据可能会变得孤立。在驻留在不同公共云（例如 AWS 和 Azure）上的数据之间或在公共云和本地数据中心之间共享数据，或者将其全部存储在云数据仓库中可能特别困难。

如今，一家典型的公司在多个本地位置以及多个公共和/或私有云中拥有数据。数据既有结构化的也有非结构化的，并以多种格式进行维护——文件系统、关系数据库、SaaS 应用程序等。而且，处理数据涉及多种技术，从批处理ETL或 ELT 处理到更改数据捕获到真实时间流。由于近四分之三的组织 (74%) 使用 6 个或更多数据集成工具，因此组织很难灵活快速地摄取、集成、分析和共享其数据以及合并新的数据源。

随着数据量和数据来源的不断增加，问题只会变得更糟。结果，数据专业人员最终将 75% 的时间花在数据分析以外的任务上。这不仅极大地抑制了组织及时充分利用其数据的能力，而且还严重浪费了数据专业人员的时间，而且效率低下。

除了阻止组织快速访问数据的障碍之外，还有无数问题使数据本身难以可信。事实上，几乎一半的企业数据都存在完整性问题。如果基础数据存在缺陷，完成任何依赖数据的工作的成本要高出 10 倍。

03 Data Fabric功能和原则

虽然DataOps等传统数据管理概念侧重于大型分布式数据资产的操作化，但 Data Fabric 侧重于统一多样化和分布式数据资产的功能。

简单来说，大多数组织都采用 DataOps 等框架来设计、实现和维护分布式数据架构。它有助于理解在高度分布式基础架构环境中生成和维护的数据。通过引入Data Fabric等统一的数据管理平台架构，结合端到端的数据管理流程，具体为：

数据整合 数据发现 数据治理 数据管理 数据编排

所有任务都在单一平台架构中进行管理，旨在简化对分布式数据资产的访问、管理和控制。Data Fabric 可以包含一系列跨以下逻辑域的数据管理功能：

知识、洞察力和语义 使用户能够发现和访问相关数据的语义描述层 以市场的形式访问大量数据资产 对不断增长的数据资产进行持续分析 使用先进的人工智能系统连接不同应用程序数据之间的业务关系 端到端数据管理可见性，以衡量与数据相关的各种属性和风险 统一治理与合规

符合可应用于所有数据资产的全球组织策略的元数据本地管理

自动化使应用策略、审计合规性和识别系统中的潜在漏洞变得更加容易

自动化和人工智能功能增强了数据跟踪和路线查询

整体数据治理和安全流程在所有环境中集中且一致

智能数据集成

设计、部署和利用跨分布式数据和基础设施环境进行集成

为孤立的数据环境自动创建流和管道

最佳工作负载分配和模式漂移校正

在预定义策略中自助获取新数据资产

未来证明基础设施；与平台和应用程序无关

数据编排和生命周期

使用先进的人工智能系统、数据湖和其他平台和技术对不同数据源进行自助编排，确保全面了解所有数据环境中的数据管道。

统一的数据生命周期，用于配置和管理数据的各个方面，包括数据驱动应用程序的开发、运营、测试和生产发布。

Data Fabric 架构在涉及跨地理分布式基础架构系统分布的动态数据工作负载的 IT 环境中特别有用。以下是 Data Fabric 架构如何在基于云的现代企业 IT 环境中创造价值的方式：

运营真正的混合云 当组织投资于云存储和基础架构解决方案时，他们的选择基于成本、安全性、可用性、可扩展性和服务要求。这些要求随着时间的推移而演变，迫使他们要么： 切换供应商 追求不同的云模型作为可行的替代方案

另一方面，云供应商倾向于将客户锁定在他们的服务中，这使得数据迁移对他们的客户来说是一项成本高昂且具有挑战性的工作。

Data Fabric 使组织能够克服在维护多样化的数据存储和基础设施部署组合方面的技术挑战。客户可以根据不断变化的技术和业务需求，自由地从一系列混合 IT 基础架构资源中运行关键任务数据驱动的 IT 服务、应用程序、存储和访问。

无缝云计算转换

Data Fabric 旨在减轻因在云供应商和计算资源之间切换以处理存储在不同位置的数据而造成的中断。因此，Data Fabric 显着缩短了获得洞察的时间。借助更快的洞察力，组织可以：

识别数据中的模式

了解趋势

主动做出决定

通过提高所有数据渠道的计算性能做出更好的决策，确保企业在充分利用数据投资的同时超越市场竞争。高性能和优化的数据投资 组织投入大量资源和努力为其应用程序和服务提供最佳性能。对于任务关键型应用程序尤其如此，这些应用程序可能需要随着用户群的增长来处理不断增长的数据量或适应不可预测的高峰使用需求。为了满足这些需求，组织还必须投资于承诺所需性能水平的云存储解决方案。同样，应用程序或服务可能会演变成未来的遗留解决方案，使用需求可能会相应减少。无论哪种方式，应用程序都应该能够提供可预测的性能，无论数据是否可用：

高度可用的存储位置

低成本经济的存储基础设施

借助 Data Fabric，组织可以实现此功能并根据不断变化的应用程序使用需求优化其数据投资。

面向未来和发展的灵活性

Data Fabric 允许组织根据不断变化的技术需求灵活地调整其基础架构。Data Fabric 可以轻松地将各种基础设施端点连接到整合和统一的数据管理框架。组织不必担心数据的明确位置。

如果一家初创公司投资于低成本的云存储解决方案，直到公司获得吸引力并在后期需要高度可用的存储容量，它可以利用 Data Fabric 提供的灵活性来选择最适合数据和业务性质的基础设施环境组织的持续要求。数据管理功能将适用于所有基础设施部署，组织可以相应地在未来证明其数据投资。

Data Fabric 服务于广泛的业务、技术和组织协调驱动因素。

1、业务驱动力

通过可靠、快速地将数据传输到数据湖和仓库，更快地获得洞察和决策。

任何业务实体的实时360 度视图- 例如客户、索赔、订单、设备或零售店 - 以实现微细分、减少客户流失、警告运营风险或提供个性化的客户服务。

通过逐步和快速地对其进行现代化改造，降低了运营、扩展、维护和更改遗留系统的总拥有成本。

2、数据管理驱动

数据准备自动化使数据科学家、数据工程师和其他 IT 资源免于执行繁琐的重复数据转换、清理和丰富任务。

以任何数据交付方法访问企业数据，包括批量数据移动 (ETL)、数据虚拟化、数据流、变更数据捕获和 API。

数据结构平台集成并增强了公司当前使用的数据管理工具，并允许其他人退休，以提高成本效益。 3、组织驱动力

数据工程师和数据消费者之间共享的通用语言改善了数据和业务团队之间的协作。

自助数据访问功能让数据消费者可以在需要时获取他们需要的数据，从而提高业务敏捷性和速度。

Forrester 新技术：预计 2020 年总体经济影响研究揭示了构建统一 Data Fabric 架构的能力的以下商业价值：

投资回报率提高 459%

平均 580 万美元的商业收益

60X 加速数据传输时间

客户亲和力分析速度提高 20 倍

虽然这些数字特定于IBM Cloud Pak for Data的案例示例，但Data Fabric 功能与所有运行多云环境的组织相关。Data Fabric 通过解决在多云和混合 IT 环境中运营数据服务的技术挑战，为组织提供一系列业务价值主张。