谈谈数据治理能力发展曲线

一 概述理解

什么是数据治理，为什么它处于实现价值的关键路径上，以及如何在组织中具体部署它，可能是一条漫长的道路。当公司首次推出带有人工智能和数据应用的大型转型项目时，他们很快意识到这些项目需要关键的推动因素，如数据平台、数据湖、数据质量管理和主数据，这些关键因素可以让高质量数据提供到用例中。直到最近，数据治理才出现在众多复杂系统的优先级中。如今，几乎所有CDO/CTO都明白，数据治理是数字化转型的先决条件。他们熟悉所有基本的组织和操作概念，但让他们传递具体的价值是一项复杂得多的任务。因此，数据治理常常被简化为孤立的文档活动，影响很小。我们看到许多项目正在启动，许多数据治理负责人出现在组织中。起初，他们在说服赞助商和商业伙伴投资这些活动时都遇到了同样的困难。为什么?因为部署数据治理是一个组织必须经历的完整的进化过程，而且过程中的每一步都很重要。

第一阶段——无意识无能力:缺乏数据治理的“症状”是什么?由于糟糕的数据治理，公司面临着未解决的业务问题；公司被现有的需要成熟数据的计划(战略用例、IT迁移等)被迫管理数据；处理这些症状将有助于认识到数据治理的挑战和关键价值。第二阶段——有意识无能力:当公司开始数据治理之旅时，会遇到哪些挑战?证明数据治理的价值:原始数据是未开发的潜力，而精炼数据是黄金；找到启动第一个计划的正确的财务模式:由用例驱动或高层要求驱动；动员人们交付:在数据治理联合团队内部和外部。第三阶段——有意识有能力:公司在启动数据治理计划时通常遵循哪些步骤?第一步—规划数据治理:域、操作模型、路线图、工具；第二步——在每个数据域中部署数据治理:数据质量、数据标准和可访问性。通过大型项目在有限的时间内进行彻底的改造;或者把工作分散很长一段时间，从最关键的部分开始，然后逐步地做剩下的部分。第四阶段——无意识有能力:当数据治理成为新常态时会发生什么?数据治理不再是一段旅程，而是一项熟练的技能；数据治理是每个人的责任:C级成员、业务所有者、工程主管、领域开发团队、数据专员、用例和特性团队本文的目的是通过了解每个公司不可避免地要经历的数据治理过程，帮助您理解数据治理在实践中是什么。

二 数据治理曲线阶段

1 -无意识无能力:缺乏数据治理的“症状”是什么?是什么触发了它?

甚至在开始之前，第一个挑战就是识别数据治理问题。在这个阶段，该公司还没有意识到其许多业务问题与数据治理活动直接相关。这个过程的第一步是确定哪些根本问题是组织中没有人能够回答的。

提出这类问题将数据治理与它可能产生的潜在业务价值直接联系起来，并避免了IT或隐私驱动方法的陷阱，这些方法将数据治理减少为主数据或访问权限管理。在这一阶段，我们还观察到其他触发数据治理计划启动的典型情况:由于缺乏可访问的数据以及数据所有者和管理人员来定位和理解数据而暂停的情况；高度隐私风险管理计划，要求数据沿袭或访问权限管理符合规定；战略性的IT/架构迁移(例如云迁移)，需要数据治理来定义访问权限和数据可用性策略；重大的数字化转型计划，使数据治理成为确保快速交付价值的关键因素；为了在数据治理的道路上前进，公司需要面对未解决的业务问题，否则就会被迫陷入落后的情况。只有这样，他们才会意识到他们面临的挑战，并理解数据治理的关键价值。

第二阶段-有意识无能力:公司在开始数据治理之旅时会遇到哪些挑战?

一旦公司决定正式开始其数据治理之旅，三大挑战就会出现:

(1)证明数据治理是有价值的，

(2)找到合适的财务模式来启动第一项计划， 

(3)动员人们交付。

1.证明数据治理的价值:原始数据是未开发的潜力，而精炼数据是黄金

首先的挑战之一是说服董事会。数据治理的提倡者需要找到合适的说辞来证明，有时以牺牲用例为代价，应该对数据治理进行投资，并且应该在数据转换路线图上找到空间。

2. 找到正确的财务模式:由用例驱动或由高层机构驱动

这一领域经常会出现两个问题:启动一个数据治理项目需要多少成本?谁应该为此买单?可以区分出两种模式:模式1由用例驱动，其中一部分预算专门用于数据治理活动。模式2由高层机构驱动，该机构拥有支持数据治理主题用例的预算。当数据治理通过设计嵌入到所有项目中时，模式1是转换后的目标。在转换之前和转换期间，模式2通常适用于建立最佳实践。

3.动员人员交付:在数据治理联合团队内，以及团队之外

围绕数据治理问题调动公司员工是关键的挑战。在数据治理团队中，成功的关键因素是实现联合交付模型，其中操作是分散的，由每个业务领域团队驱动。一个中心办公室或领导(视规模而定)负责组织方案、实现工具箱、定义标准。它的第一个任务是将公司的数据细分为数据域，并为每个域指定一个所有者，他将负责指定其域中的关键角色(管理员、托管人……)。除了数据治理团队，中央办公室还必须适应和提高团队的技能，以配合新的、更结构化的数据交互方式。一旦这些最初的挑战被克服了，组织就可以被认为是有能力和足够成熟的，可以定义最好的方法来开始，并实现第一个有形的结果，而不需要太多的前期投资。

第三阶段-有意识有能力:启动数据治理计划时应遵循哪些步骤?

1.步骤1——够花数据治理:域、操作模型、路线图、工具

数据治理办公室的第一个关键活动是将数据资产构造为数据域。这项活动使公司能够:共享数据资产的共同愿景；确定数据治理路线图的优先级；分配角色和职责；结构化数据治理工具。一旦实践完成了，下一步就是分配所有者(他们将安排活动的优先级并确定目标)和管理人员(他们将在操作上部署质量和文档程序)到每个领域。我们已经观察到，成功的数据治理模式是“联邦”模式，业务活动分散在各个领域，数据治理的负责人在中央数据团队中推动动力、协调活动并赋予专员和所有者权力。成熟的组织是业务驱动的，并在与数据应用路线图密切相关的情况下构建数据治理路线图。他们将数据域与公司的战略用例进行映射，并对服务于许多用例的域进行优先排序。成功的关键因素是，从小处着手，通过确定两到三个关键领域的所有者和管理人员来避免隧道效应，并在将其部署到其他领域之前对方法进行改进。工具对于长期维持数据治理很重要，但数据治理首先是一个组织问题。如果组织不相信数据治理的重要性，如果运营模式不到位，这些工具将不会被采用，对公司来说将是一种资源和时间的浪费。

2.步骤2 ——在每个数据域中部署数据治理:数据质量、标准化和可访问性方法1 -与重大项目在有限时间内完成改造

方法1通常是大公司的首选，这些公司已经启动了重大转型计划，在成功交付数据和人工智能案例方面面临着重要的问题。对于那些正在转向云计算的公司来说，他们的数据资产在新数据平台中的结构也岌岌可危。这种整体或端到端方法旨在通过处理数据治理的四个维度(质量、标准化、可访问性和所有权)来彻底清理数据领域。这一重大数据转换方案的一个关键方面是协调18个数据领域工作的能力。数据治理办公室在确保数据域之间的一致性和设置总体优先级方面发挥着至关重要的作用。方法2 -把工作分散在很长一段时间内，从最关键的开始，然后逐步做剩下的第二种方法更适合那些在推出重大项目之前需要证明数据治理价值的公司。首先，这些公司专注于他们想通过数据治理解决的一个特定痛点。有时这些计划甚至没有标记为“数据治理”。

第四阶段-无意识有能力:当数据治理成为新常态时会发生什么?

在我们开始之前，有必要强调的是，除了纯粹的参与者或围绕数据设计的最新公司之外，相对很少有公司达到了数据治理的最后阶段，即数据治理已成为自动化。

1.数据治理不再是一段旅程，而是一项熟练的技能

数据治理不再被视为需要涉众付出巨大努力的耗时转型之旅。现在，这是一项完全嵌入到公司流程中的技能，每个处理数据的人都受到了这一层面的影响。在数据平台中集成数据需要满足特定的标准，如数据文档、数据敏感性识别、数据所有者识别等。访问数据意味着遵循一个过程，这个过程需要用例管理人员证明他们的数据使用是正确的只有满足与数据集成相同的标准(文档化、敏感性、所有者、监控等)，才能向公司的其他部门提供新的数据集。

2. 数据治理是每个人的责任

C级领导促进了公司内部数据的流通。他们依靠统一的数据视图(单一的真实来源)来做出所有的战略决策和监控公司的表现。企业所有者认识到，数据治理是其业务转型的关键成功因素。每个业务计划都“按设计”包含一个数据治理组件。工程主管是面向领域的数据平台的领导者。他们负责构建平台的通用功能，并制定全球标准以确保各领域之间的互操作性。向用例团队交付高质量数据产品的责任分散在那些最接近数据的领域开发团队中。为了确保数据产品是定性的，领域开发团队依赖于数据管家来保证高水平的数据质量和可用性。数据管理员不是一个角色，它是一份全职工作，位于业务、IT和数据团队之间的中枢位置。他们协调工作，以弥补数据治理债务，并确保新服务“根据设计”进行治理。使用数据的用例和特性团队被视为具有权利和义务的客户:消费高质量和值得信赖的数据产品的权利，利用数据市场发现和请求访问数据集。将数据治理标准应用于他们的用例的责任:产品所有者在代办事项中为数据治理任务留出空间。用例创建的所有数据都有适当的文档记录，在数据管道的每个阶段都开发质量例程。

三 总结

尽管今天的大多数企业仍然徘徊在第二和第三阶段之间，但他们都感到在数据治理过程中前进的业务紧迫性。有3个主要理由证明这种紧迫性。首先，数字化转型是实现新动能宏伟目标、保持领先地位的关键杠杆，没有数据治理，数字化转型不可持续。其次，我们身处一个快速发展的世界，快速获取数据、快速分析和利用数据对于快速反应至关重要。最后，公司需要吸引越来越愿意接受数据驱动的新人才。任何公司在开始其数据治理之旅时，首先面临的挑战之一是证明这种紧迫性，并让内部利益相关者相信具体启动数据治理计划的价值。