数据中台的五个关键要素

数据中台的五要素是数据、业务、算法、应用和组织，这五要素是做好数据中台的基本要求，也是帮助企业合理运用数字化平台的重点。

1.数   据

伴随移动互联网的发展，数据量呈爆发式增长，不同规模、不同类型的企业都面临数据质量问题。多变的用户需求和商业场景也增加了数据的复杂性。企业在使用数据的过程中，很多时候需要从外部渠道采集数据，但这些数据的来源和结构的可靠性无法得到保证。数据信任危机已是企业面临的共性问题。企业在数字化转型过程中，必须采取一定的措施来解数据质量问题，以保证使用数据的结果。当企业的业务结果受到低质量的数据影响时，可采取一定的措施治理数据，改善数据质量。

1.1构建数据资产管理体系 

CDO是企业数据资产管理的推动者，对数据治理、提高数据质量负有重大责任。因此，CDO需要带领数据治理团队，采取一定的策略和措施，实现数据跨部门共享、统一数据定义，使公司内外部可流畅使用数据。

01  梳理数据来源

数据有四大来源，即IT系统数据、外部系统数据、互联网补录数据及数据融合，下面分别进行详细介绍。

IT系统数据

这里的IT系统是指企业内部的信息化管理系统。企业数字化转型需要将内部多个IT系统内的数据进行打通和梳理。

外部系统数据

外部系统数据是指企业的供应商、合作商、集成商等合作伙伴的数据。汇集这些数据可以帮助企业形成全域数据中心，以全景数据的角度考量整个企业的运营、管理情况。

互联网补录数据

如果企业的内外部系统无法完全满足业务需要，可以进行补录网络上公开的数据，行业内常称其为“填数据”。比如针对某个产品使用属性进行标注，以一定的合法技术手段获取网络公开数据，丰富用户数据。

数据融合

以合法、合理的方式与其他数据供应商合作，或者通过各种合法合规的数据市场进行数据融合。从运营商数据到线上店铺数据，再到工商数据，任何组织都可以通过合法合规的渠道获得数据。

02  创建数据管理条例

数字化转型企业都应该建立一套数据驱动业务的条例用，详细规定数据出处、数据使用对象、数据审批流程、数据应用方等，以便有效管理数据，让企业达到数据赋能业务的目的。

03  打造数据目录，管理数据资产

数据目录可帮助不同部门共享数据。在维护数据目录时，CDO等数据治理团队负责人可建立业务便捷使用机制，评估上游数据的治理情况，记录下游数据分析应用的使用情况，同时跟踪数据在不同产品方面的流转。打造数据目录可以帮助数据管理团队更好地识别潜在的数据质量问题。

04  建设合规数据

企业应分门别类地对数据进行存储管理，如主数据管理、遗留数据整理，从不同类别的数据中提取共同特性，比如保障数据隐私、出具数据定义、监管数据资源。同时，数据来源是多样的，意味着数据的使用面临着风险。如果数据管理不善，在使用数据的过程中会面临违反合约、侵犯隐私等风险。企业业务线越复杂，需要考量的数据安全使用问题就越多。因此，对数字化转型企业来说，有必要设立数据风险控制职位甚至部门，对数据丢失、数据隐私保护、企业数据声誉等环节加以管理。

05  建立数据管理委员会

建立数据管理委员会表明企业重视数据资产管理。数据管理委员会的任务是创建数据资产管理体系，以一套规范性的体系来监督、管理数据资产的应用情况，即监控数据赋能业务的进程、价值等，从而为企业数字化转型提供有针对性的建议。

不论是IT部门的技术专家还是业务部门的主力，都比较关注数据价值，数据管理委员会应联合这些对挖掘数据价值感兴趣的人共同进行数据管理，赋能一线生产。

06  出台数据资产管理办法

企业数据多样，也是公司的重要资产，数字化转型企业需要运用一定的数据管理办法加以管理。

1.2建设数据质量体系

在数据智能运用的道路上，数据烟囱、信息孤岛遍布。由于顶层设计的缺失及历史原因，企业的各个业务系统、管理系统等的数据壁垒问题严重。另外，由于所用技术不同、开发团队水平不一、开发平台和工具不统一、缺乏规范的数据管理标准，各个系统间的数据难以兼容及集成。数据无法共享，造成一定的数据存储成本及数据管理成本的浪费。

此外，在“建治用”的主流数据治理思路下，数据治理仅仅关注数据事实及数据逻辑，只是为了完成治理的目标而进行数据治理，没有形成数据闭环，也没有形成共享模式，数据治理结果不能帮助业务部门达成业务成果，无法为业务部门挖掘更多商机。在一些企业中，数据治理工作依靠人工完成，具备一定技术实力的研发人员将大部分精力放在人工梳理数据上，这一方面造成人力资源及时间的浪费，另一方面容易产生人工疏漏，无法保证数据正确，极易导致数据信任危机。

因此，对于数字化转型企业来说，追溯数据来源、统一数据定义、分类数据存储、消除无效数据，可以降低数据管理成本，规避数据应用的法律风险，降低产品维护及开发成本。

那么应该如何正确治理数据呢？

01  整理业务规则，统一数据定义

在企业数字化转型过程中，对数据的共同理解与解释至关重要。数据质量问题通常是指同一数据集被解释为不同事物，或者不同数据集被解释为相同事物。无论是业务还是技术元数据，根据业务属性明确数据定义对于提高数据质量相当重要。企业可令数据治理团队运用一定的数据管理应用程序完成业务规则的梳理和数据定义的统一。

02  跟踪外部数据来源

面对竞争激烈的市场环境，企业数据应用的方向不再局限于内部数据，更多着眼于第三方数据，这成为构成分析解决方案的要素之一。无论是合作伙伴数据、供应商数据还是互联网开放数据，都可以提升企业获取新业务价值的资源。然而，依靠传统的数据治理方式并不能追溯数据的真实情况。即使能够确定数据质量，也不能保证数据源头是固定的。因此，数据治理团队有必要建立一个可行的模式，以保证外部数据的正确性。

03  确认影响业务的关键数据指标

在商业场景中，业务需求、业务流程、业务绩效等是关键数据指标。为了衡量一款产品及服务是否能够满足市场需求，必须采用一定的企业绩效指标。不完整、不准确的数据可能导致客户投诉，因此客户流失率、KPI等数据指标的梳理及确定至关重要。

04  分析关键业务的数据质量

在确定了企业内部影响业务的关键数据指标后，数据治理团队还需要了解企业内支持关键业务流程的系统及程序的数据质量。在梳理过程中，数据治理团队可以采用数据分析工具预测数据分析模型，在较短时间内了解数据质量。也可以创建针对数据存储库运行的脚本，解决高级别的跨应用数据分析需求。

05  创建数据自动化管理调控体系

在数字经济时代，众多企业纷纷举起数字化转型的大旗，但大多数企业的数据体系都无法帮其实现数字化转型。数据治理团队应建立自动化管理体系，把关数据治理到数据应用的整个流程，在绩效考核、分析决策、基础数据质量之间建立明确的自动化反馈机制，以业务结果反馈数据治理效果。

06  检测数据质量对业务的影响程度

凭借专业的数据质量分析工具，数据治理团队能够测试数据质量，识别异常数据，以便开展有针对性的数据处理工作。通过业务影响程度测量数据质量，可以帮助企业有效筛查无价值数据，提高数据质量。

另外，数据质量的检测应该是长期存在于数据应用过程中的。一旦企业决定进行数字化转型，就必须定期评估数据质量对业务结果的影响，并且随着新业务场景的出现，对数据质量评估的重点和方法作出相应调整。

07  听取、沟通业务需求，有针对性地治理数据

数据治理团队在对数据进行清洗治理时，首先不要妄图通过数据治理立即解决所有问题，而是应该认真听取业务部门对数据的需求，通过有效沟通，确定行动计划，探索数据内部潜在的问题，为分析决策提供支撑。

08  创建数据质量动态感知台，监控数据治理进程

数据治理团队一般会通过定期会议或者小组讨论等形式同步各自的数据处理进度。但是定期的会议汇报无法随时了解数据治理进程，因此数据治理团队可以创建数据质量动态感知台。数据质量动态感知台可以根据KPI和关键业务操作流程制定数据质量的绩效。在某些需要调整的地方，数据业务分析师可以与CDO沟通调整治理路线和重点。

成熟的数据业务分析师可以帮助企业进行数据管理，积极监控、提高数据质量。数据质量动态感知台可以帮助企业管理数据风险，创造更多降低运营成本的机会。

09  建立学习—分享—培训机制

数据治理团队中各成员分工不同，所处理的数据模块也不相同，每个人遇到的数据质量问题都不同，而个人解决起来困难重重。因此团队负责人需要建立一套学习—分享—培训机制，团队成员可以将发现的数据问题及时共享给团队其他成员，一起讨论数据治理的解决措施，帮助团队成员提升自身能力。

10  避免“IT怪圈”

数据治理团队如果没有完全打通企业的内外部数据，业务部门的需求便不能随时得到满足，数据治理团队就会进入IT怪圈。首先，前端业务场景不断变化，业务部门需要随时响应。期间，业务部门会不断向技术部门提出各种工作需求，即使有些业务需求简单到并不需要技术人员操作，只须简化数据治理的流程或步骤即可，但由于数据治理得不彻底，技术部门不得不随时响应低端需求。

业务场景是瞬息万变的，用户的需求需要随时被满足，技术部门疲于应付前端业务部门低端的需求，导致业务需求响应慢，结果并不令人满意，甚至延误了商机。如此循环下去，技术部门将陷入IT怪圈，无法抽身。

2.业   务

对于业务来说，一切不能驱动业务发展的技术投入都是浪费资源。业务覆盖企业各个部门、不同角色、不同业务场景。由于前端用户的需求多变，业务也在发生改变。

数字化业务是通过数字技术颠覆、重塑整个商业体系，从而创造新的业务形式，即智能商业。智能商业以看得见的数字技术为企业提供便捷、智慧的运作流程和赋能价值。支撑智能商业的数字技术，譬如数据中台，是以企业看不见的形式为其服务的。这些看得见的能力与看不见的技术共同构成了企业数字化转型的基石，如图所示。

能够促进经济活动产生效益的技术投入必然能够驱动不同业务场景的运转。在数字经济时代，智能商业的技术投入主要是数据中台。

作为企业数字化转型的关键技术，数据中台可以通过对互联网用户、物联网设备、企业业务逻辑、业务单元等商业要素进行重构，提高整个数字化业务的效率，达到企业创收的目的。

01  强化数字化业务逻辑能力

企业具备清晰的数字化商业业务逻辑，可以大大提高数据信息的应用效果，而这也是技术进步的主要来源。企业使用数字技术开展标准化、自动化的业务流程，使应用数字化业务的过程更有效率，但这离不开商业业务逻辑能力的配合与加持。在数字化转型过程中，企业应该培养团队的数字化业务逻辑能力，促使团队积极地将这一能力运用到业务创新和产品研发中去。

02  确立数字化业务单元

2020年，除了金融能力、行政能力等常规技能外，企业领袖还应具备数字领导能力。在企业领袖的带领下，数字技术架构师建立数字化的业务单元架构，提高企业的数字业务能力。

3.算   法

在数字商业环境中，算法业务对于数字经济的增长至关重要，但是对于企业领导者来说，将算法应用于商业业务仍然有难度。如今，以算法推动业务智能化成为一种趋势，随着这种趋势的发展，算法业务将迎来更高水平的决策自动化，各企业开始高度重视算法的开发和应用。

在未来10年，全球超过一半的大型企业将会用先进的分析和专有的算法提高竞争力。对企业来说，了解算法在组织架构中的价值、制定配套的工作流程体系是非常关键的。

01  了解算法的分类

建设数据中台需要根据行业的不同特点构建应用算法。常用的算法大致可以分为三类：数据统计、数据挖掘和人工智能。数据统计包含常用的统计学算法；数据挖掘对数据进行关联分析，常用的有聚类分析、相关性分析等；人工智能的核心是机器学习。人工智能包含统计学、概率论、基本数据挖掘算法等基础内容，通过重新组织不断改善自身的性能。

02  算法在组织架构中的汇报关系算法模型应服务于业务，而不是服务于技术。通常在组织架构里会出现以下4种汇报关系。

负责算法的人直接由CDO管理。

一些公司可能会设立首席分析官、首席算法官或首席科学家这类职位，让其带领团队研究各种算法。

算法团队向IT部门汇报算法模型。

算法团队向运营部门、营销业务部门汇报算法模型。以上汇报关系都不能达到算法应用的预期效果，所有的算法信息应该向业务部门汇报，而不是向传统的IT部门汇报。算法团队可以与业务部门合作，研究使用哪些算法来驱动公司发展。同时，算法团队需要对现有的算法进行编目，确定现有算法如何工作。

03  制定一套完整的工作流程企业要制定一套关于算法的完整工作流程。

算法团队应该将人员、流程、数据、技术整合成一个可以协同、有效合作的单元，以便将算法应用在不同的业务上。

算法相当于一种无形资产，要形成有效的算法模型管理框架，同时要编制算法目录，盘点现有的算法、外部开源的算法及第三方供应的算法。

要形成独有的算法去管理算法市场，对未来要开发的算法进行优先级排序，根据排序配置人员和外部资源，并提前做好预算，占领算法市场的先机。

4.应   用

企业要针对不同的客户定制专属的数据应用系统，简称数据雷达。数据雷达不仅可以帮助企业快速作出决策，还可以提高工作效率、降低经营成本。企业在深入推进数字化转型的过程中，会构建多种多样的应用。

4.1数字化应用的作用不同种类的数字化应用可以帮助企业解决各种问题。01  指导企业进行决策

数字化应用系统含有多种应用，有些应用可以帮助企业记录和提取数据，对数据进行分析；有些应用可在用户数据的数量和质量都达到一定程度时进行深度挖掘，企业可以利用这些实时的数据分析与挖掘应用产生的结果进行快速决策。

02  为企业提供更多销售机会

数字化应用系统能够实时地为企业提供所需的信息，企业可以从不同维度清晰地了解用户细节，将这些结果通过不同的形式展现出来，发现更多销售机会、挖掘更多潜在客户。数智化应用系统不仅可以帮助企业制定用户关系管理方案，还可以帮助企业维护客户关系，满足客户个性化需求，在不断提高用户满意度和销售业绩的同时，将用户资源牢牢掌控在自己手中。

03  提高企业管理效率

企业的数字化管理其实就是借助计算机和网络技术、运用数字化手段实现管理。一方面，数字化应用系统是把先进的管理思想落实到实际的应用中，帮助企业更加快速、准确地做出决策，提高企业管理效率，避免因决策时间长、决策困难而延误商机。另一方面，企业可以通过数字化应用系统有效管理自身发展过程中的多项数据，提升数据真实性，加快数据与信息的交流和传递，对不同业务进行数据化处理，实现高效的数字化管理。

04  降低企业经营成本

创新的数字化应用系统可以帮助企业降低经营成本。企业通过数字化应用系统对市场进行分析，根据市场动向调整发展战略和目标，避免在对市场需求不够了解的情况下盲目发展。

企业通过数字化应用系统可以分析客户的购买意向、购买行为、购买频率及可能接受的购买金额，据此将客户进行细分，有针对性地进行产品销售。

数字化应用系统可以对产品相关的数据进行分析，帮助企业了解市场对该产品的需求度，确定产品的研发方向，从而节约开发成本。

4.2构建数字化应用系统

目前，市面上的数字化应用系统很多，不同行业、不同规模的企业的需求各不相同。如果构建的应用不能满足企业需求，不仅无法发挥作用，反而可能给企业带来不必要的麻烦。因此，企业要结合自身的发展方向、战略目标、企业规模、人员结构、行业特点、产品特性构建适用于自身的数字化应用系统。

01  结合六图法构建企业的数字化应用

企业在构建数字化应用系统时可以结合本书六图法理论，从战略、业务、需求、应用、算法、数据6个角度进行衡量和评估。可以说，六图法便是企业数字化应用系统的构建过程。

02  形成低成本、高效率的应用构建状态

许多企业不敢构建应用系统是因为每个应用的产生成本太高。企业在构建数字化应用系统时要通过数据中台等技术手段，建立应用开发制度，让应用开发流程更加简化、流畅、便捷，节约开发成本。

03  形成完整的数字化应用体系

数字化应用体系可以帮助企业解决问题。很多企业的应用都存在一定问题。有些企业可能投入了大量资金，但研发的应用却发挥不了价值。这是由于企业没有形成良好的数字化应用体系，没有加强各个应用之间的联系，企业只是分散地、随机地研发应用。这不仅造成每个应用的数据孤岛，还使得共性功能不可复用，浪费后期维护成本。因此，企业需要结合自身的经验形成完整的数字化应用体系，加强各个应用之间的联系，从而帮助企业快速高效地生产应用，赋能前端业务。

总而言之，企业在构建数字化应用系统时，不仅要参考六图法，还要形成可低成本、高效率地产生数字化应用的状态，并将各个应用系统之间的数据打通，形成完整的数字化应用体系，从而持续为企业数字化转型提供动力。

5.组   织

依托数字技术全面提升敏捷性、决策力、员工参与度、创造力及自主性，是企业数字化转型的迫切需求。数字商业时代要求的互动、创新等主题让企业不得不从上到下、从管理层到基层组织都建立相匹配的组织架构及人员分配。因此，强调用户响应度及组织成员专业能力的敏捷组织以及数字化专业人才，成为数字化转型企业的标配。

5.1解锁敏捷组织建设方式

传统组织与敏捷组织各有优势，传统的自上而下的组织结构有利于信息及资源一致下达与彻底执行，而新型的以任务为目标的敏捷组织则更强调响应度及成员的专业能力，但敏捷组织能力的构建无法一次成型。企业想要组织具备数据分析和智能决策能力，需要采用不同的方式来达成。

01  数据分析部门转变为跨职能部门

传统企业的组织架构由数据部门、IT部门与业务部门构成，每个部门根据部门定义开展工作，上下级员工、部门与部门之间的角色定位主要是指挥与控制。在数字化转型背景下，作为企业数字化的主要实现者，由数据科学家、数据建模师、数据分析师构成的数据分析部门将由独立部门转变为具备各种技能的跨职能部门。由此赋予每个团队专业的数据专家能力，令团队成员能根据任务规划，灵活应对执行过程中出现的问题，及时做出响应，协作完成任务。

传统的组织模式依赖数据科学家、数据建模师和业务分析师等不同岗位的数据技术处理人员完成特定项目。一个项目从发起到交付，需要多名数据技术专业人才完成各环节的工作。在主张为客户提供个性化分析解决方案的数字时代，这种流程烦琐、项目周期长的工作模式将被淘汰。

敏捷组织下的工作模式强调组织成员共同创建分析内容，跨职能团队可以身兼多种角色，但数据集成能力、数据分析能力和业务领域知识是团队成员都必须具备的。这种跨职能的敏捷组织既能分散，又能集中，有利于资源共享。同时，敏捷组织可针对相关需求，更快地完成项目迭代更新，及时满足前端用户多变的分析需求。

02  组织成员需具备业务与数据的双重能力

敏捷组织打破了传统组织模式下各岗位各司其职，对其他岗位职责知之甚少的状况。不同于传统组织成员工作职能固化，敏捷组织成员的工作职能具备一定的交叉性。这对于数据分析人员和前端业务人员来说尤为明显。

数据分析师一般分为业务和技术两个方向，二者的工作内容不同。

业务类数据分析师一般分布在市场部、销售部、运营部，其工作内容是根据数据报表编写总结报告、规划方案。

技术类数据分析师一般隶属于IT部门、数据部门，根据工作环节可分为算法工程师、可视化工程师等。

数据分析师的工作内容各自独立，技术类数据分析师不懂业务，而业务类数据分析师不懂技术。

在移动互联网时代，前端业务场景不断变化，意味着数据来源复杂、加工环节烦琐、计算方式不断更新。对于业务类数据分析师来说，首先要面对技术盲点，业务需求的业务逻辑决定着数据分析的维度及字段，不同的数据指标要对应不同的业务字段；对于技术类数据分析师来说，因对业务根源缺乏了解，会面临数据质量无法保证、关键字段无法弥合、业务分析需求无法实现等问题。

只懂营销、不懂数据技术的业务类数据分析师，和只懂技术、不懂业务分析原理的技术类数据分析师，在敏捷组织模式下，均可以通过组织培训、项目经验的积累完成角色互换与交融，真正获得“数据科学家”的能力。

03  构建具备描述、诊断、预测、预警能力的组织体系

敏捷组织特有的灵活性并不意味着组织内部工作会无序、失控，敏捷组织在有效建立各部门的连接与交互能力的基础上，还需要建立一套利于数字化任务快速、有效完成的体系。这便是具备任务描述、诊断、预测、预警的组织体系，可帮助企业在数字化任务实施过程中更为有序、高效、精准。

在需求描述阶段，项目负责人应该十分清晰任务要达成的目标，设定任务完成过程中各个阶段需要达到的效果，在实施过程中随时监控完成情况。假如在某个阶段任务完成的指标是95%，而按时交付的实际完成值为85%，那么团队应该进行诊断分析，从数据源分析未达成指定目标的原因，并逐一采取措施，最终达到目标。

由于数据源类型多样，团队执行的分析任务众多，会涉及关联分析、分类分析和异常值检测等环节，这种不定时的分析任务会用到预测分析能力。预测分析能力是敏捷组织应具备的能力之一，可以帮助团队对常规、可重复的流程建立准确的预测模型，从而预测出项目交付时间以及其他变量。敏捷组织还需要构建预警能力，在达到项目的某些峰值时显示预警信号，指导团队采取应付措施。

描述、诊断、预测、预警的组织体系可帮助企业在敏捷组织内形成标准化的工作流范式，从而统一、规范项目制工作流程，保障各个项目及任务有序进行。

5.2配备数字化专业人才

敏捷组织是企业数字化转型必备的组织，其概念源于特种部队，是企业为实现数字化转型而打造的作战队伍。该组织具备一定的自治能力，一线执行人员可以在理解任务意图之后，自主完成任务。组建敏捷组织要求团队成员具备一定的专业经验及能力，能够在复杂的商业环境中高效、精准地完成任务。敏捷组织的规模不限，但通常应配有以下几个重要角色，如图所示。

01  数据研发工程师

数据研发工程师需要熟悉大数据开发平台，熟练掌握大数据研发工具，能够运用各种大数据开发技术进行数据开发，并有良好的写代码习惯和一定的架构能力。

02  数据应用工程师

数据应用工程师需要掌握时下流行的前后端开发技术，熟悉大数据环境下的应用开发框架，熟悉大数据应用架构和性能优化等综合技能。

03  数据智能科学家

数据智能科学家需要掌握通用的数据挖掘和分析工具，包括机器学习和深度学习等前沿技术，并能够将其有效应用于业务场景，解决客户的实际问题。

04  数据产品经理

数据产品经理需要掌握数据技术，熟悉客户并对数据有独到的商业理解和思考，最终能以有形或无形的数据产品满足客户利益、数据和商业价值最大化。

05  数据可视化设计师

数据可视化设计师需要掌握数据交互或视觉设计能力，拥有很强的交互体感和极致且成本可控的审美，最终以全流程、高保真交互与视觉体验稿为交付物。

06  数据模型师

数据模型师需要掌握数据技术，理解业务需求并具备全局架构、模型设计、数据研发和运维调优等能力，最终可以低成本、高效率地交付具备高可用性和高扩展性的数据。

除以上人员外，企业还可以根据需要设置数据隐私官、数据管理主管、数据治理经理、数据服务总监、数据分析主管、大数据管理者、主数据管理主管、数据质量负责人、数据内容管理者等。这些人员配置将丰富企业的人才建设，满足企业多方面的用人需求。