详解 | 企业大数据项目规划落地实施路线图

一般来说，一个完整的大数据项目实施，需要经过开发环境搭建、集群环境部署、数据采集、数据存储与交换、数据离线与实时分析、大数据可视化等多个实现流程，这就要求系统掌握大数据技术知识。
图片1
下面以一个完整的大数据项目为主线，详细介绍了大数据落地的难点及如何实施一个成功的大数据项目，重点阐述企业大数据项目落地路线图，希望对即将或正在实施大数据项目的朋友有所启发。

01、大数据落地的难点
1.大数据技术端和市场应用端的信息不对称

数据技术端可能存储着海量的数据，可能掌握着先进的计算和分析挖掘技术，但是并不了解市场的需求痛点，或者无从发力，或者闭门造车。而市场应用端的专业人士则因为对大数据的工作原理和蕴含的高价值缺乏了解而空守金山不自知。解决这个困局的方法有：

（1）从两端入手：大数据行业内人士必须深入到传统行业的业务流程中去学习、经历或体验；而传统行业的业内人士则要开放心态，主动学习和拥抱新事物；
（2）从中间入手：招聘寻找兼具一定大数据知识和传统企业行业知识的人才，作为沟通桥梁弥合两端的裂隙。
 
2.数据互联的成熟度

当前的大数据源虽然貌似纷繁多样，电信数据、银联数据、房产车辆数据、wifi数据、企业内部数据、网购数据、互联网数据等等都能获取到，但是数据源之间缺乏有效的关联，导致大数据对于分析目标无法进行全面的描摹和了解，因此大大限制了应用范围。

眼下市场上虽然一夜之间冒出了各式的“数据交易所”，但是仍然不能有效解决数据互联的问题。数据源之间的相互信任与和合作是一个难点，数据信息的保密和披露法规不完善也是障碍之一，而落地变现场景的缺乏又使得这个问题的破局陷入了死循环。
 
3.应用者缺乏耐心和战略远见

一个企业的大数据战略布局是需要远见和时间成本的，战略远见不仅来源于核心领导层对于大数据知识的主动学习和思考，还要有敢于付出试错成本的决断力。

同时，大数据项目投入的周期相对较长，前期繁复枯燥的整合内部数据孤岛、联合外部数据源的工作耗时费力而又障碍重重，如同万丈高楼的地基，虽然极为重要且时间金钱的代价不菲，却在表面上难以有显著成效可以彰显。

另外，即便最终具备应用能力的大数据软件开发完成，往往也会因为受到数据源、分析技术、甚至是使用人员素质的限制使得短期内不能让企业领导者看到有亮点的投资回报率。但是，企业领导者应该认识到这是必要的学习成本，自己乃至整个企业经由这样的学习曲线获得了大数据领域的实操经验和能力，耐心而睿智的继续前行最终会令企业的竞争力在行业中脱颖而出。

02、如何实施一个成功的大数据项目？
1.失败大数据案例的特征
 
根据在美国做了15年的大数据项目、产品研发和管理，以及其它一些相关的数据分析的工作经验，了解到的其它的做的比较成功的和失败的项目，跟大家做一个经验分享。基本上大数据项目失败的特征主要是五个：
 
（1）大数据项目与企业战略脱节
完全是领导或者是不知道哪个部门的决策人突然脑子一热，就说别人在用，我们也做一个，根本没有把该做的项目和企业的商业战略、科技战略等各个方面结合起来。在项目无法与战略协调，无法在战略的指导下做一款产品或者是服务项目的时候，失败的可能性会非常大。
 
（2）大数据商业用例不是很明确
商业用例是说大数据项目怎么能够帮助各项业务达成所需要的功能和目标，或者叫目的，这个不是很清楚，怎么帮助我不是很清楚，这样的话，就直接影响到你选什么样的数据，怎么用这些数据，以至于用了以后怎么去支持你的业务，这一点是第二条，也是关键的。
 
（3）无法发掘出大数据特殊价值
如果你没有发掘出特殊价值，其实用小数据也可以做到，这个项目本身就失去了意义。
 
（4）企业内部对大数据项目无共识
财务部门、营销部门、研发部门之间的利益和工作重点是不一样的，没有共识就很难顺利推进一个项目，最后就很有可能是拖延或者是取消，甚至是失败，推出去了内部员工没人买单。

（5）缺乏项目所需核心技术

大数据不是谁都能玩儿得起的，如果缺乏核心技术，达不到自己的预期目标，钱也是白花的。
 
2.成功大数据项目的标志
 
（1）项目用例（目标/实用价值）清晰
从上到下，大家都明白这个大数据要做什么，包括企业的财务主管和具体业务部门，比方说营销部门，这个大数据项目是用在营销部门的，他们也很清楚，负责执行的技术部门也很清楚，这个搞清楚了以后，对大家上下一心做好项目是非常重要的。
 
（2）项目规划完善+快速迭代研发试错稳步推进
一个项目规划的时候，不要做成规划三个月、六个月，你用传统的老办法去做，最后发现实际上第一阶段结束了以后，你去做测试完全没有达到你想要的效果。

我们做一个大项目要用快速迭代的方法来做，每个星期可以推出一个功能，进行快速测试，内部市场、外部市场都测试成功，下一个星期就可以进行下一个功能的研发、扩展、推广。这样的话，可以通过迅速地试错。

比方说第二个星期做的方向不对，或者有些功能没有办法实现，或者跟我设计的不一样，这样的试错代价会比较低，不会等到6个月才发现有重大的错误，调整了以后第三个星期可以接着来，可以换一个方向，可以调整开发的内容，或者是功能，三个月以后，已经经过了四、五个星期的测试和研发了，基本上犯错的可能性就比较低了。
 
（3）所选技术符合大数据项目功能要求
很多人都听说过要上一个大数据项目必须要用一些特殊的技术，大数据项目最重要的不是选高大上的平台，或者是特殊的技术，最重要的是选一款符合最初设计的业务功能的技术，这个技术可能相对来说比较简单，可能是SAS软件，或者是JAVA程序，没必要上高大上的技术，最重要的是符合你的要求。
很多企业选了高大上，最后发现，实际上钱花了很多，但是没有达到预期的要求，因为你选了高大上的东西以后，会影响到各个方面的整合和所需要的数据量，预算会很大，成本也会比较高，很难实现盈利的目标。所以最重要的是选一款适合你这个项目目标的技术，这个非常重要。
 
（4）项目团队拥有各方面专业知识技能
大数据技术就像企业做的任何一款创新产品和项目一样，需要雇佣所有的对这个项目有贡献的，可能会受影响的资源。

可能包括人力资源，包括技术资源，包括市场资源，包括运营资源等等各个方面的资源调动，形成这么一个团队，上面有领导的支持，中间有大家的共识，最下面的一线执行人员也很清楚自己要做什么，这方面要协调好，要有专门的技术，这个很重要。
 
（5）项目成果获得业务用例期望成果
这个项目做了三个月、六个月，做出来了，是不是获得了业务用例期望的结果，是一个非常重要的标志。

很多时候，很难是百分之百，一般80%的项目达不到完全预期的结果，可能是80%的预期达到了，那已经很好了，可能达到50%，也不错，因为是一个创新的项目，可以根据达到的预期项目进行不停地调整，最差的是只达到了20%，很多企业做的项目结果，这是一个统计的结果，是大家能看得见的。根据业界的标准，到了50%基本上算比较成功了，到了80%就是相当好了。
 
3.成功大数据项目的衡量标准
 
成功大数据的横向标准是五点：
（1）项目在预定的时间里可以实现或者接近预定的目标。
（2）这个项目或者产品实现了传统数据方法没有办法带来的特殊的内部和外部的商业价值。
（3）在有限的大数据投资的条件下，给特定的业务带来的好处可以轻松复制到其它的业务领域，比如说营销部门获得的成功会推广到产品的研发部门，或者是推广到业务运营部门，这样会花很小的代价，但是做了更多的事儿。
（4）受益的业务部门可以运用大数据工具进行高效便捷的工作，这其实是最直接了当的，因为本来我们要做一款大数据的产品，或者是服务项目就是为了提高运营效率和工作效率。
（5）通过这个项目实施企业获得了新的商业模式和成长点，这个是最重要的，从战略的角度讲，这个大数据产品和项目成功实现了企业转型和升级。

4.成功大数据项目的路线图
 
成功大数据的路线图分为六步：
（1）确定对企业业务有重大影响的大数据用例和创新方向；
（2）我们要制定基于大数据项目的详尽的产品服务创新规划；
（3）要详细了解大数据项目所需要的业务功能要求和选择与之相匹配的技术；
（4）就大数据项目带来的商业利益在企业内部达成共识；
（5）我们要选择容易实现的目标入手，快速迭代研发、试错、稳步推进。也就是说不要刚开始就要搞高大上、大而全的项目，因为失败的几率几乎是百分之百，非常容易失败，因为预算太大，选的工具太复杂，调动的资源很多，很难一下子实现所有的目标，所以通常我们从一个晓得目标，容易实现的目标开始，这样可以鼓励士气，错误犯在研发的初期，而不是在中期和最后，这个最重要；
（6）做大数据项目和产品一定要挖掘和实现大数据能给我们带来的特殊价值，这是其它的方法或者是其它类的数据做不到的，只有实现了这种特殊的价值，我们才能实现业务所需要的具体功能，不管是扩展市场的份额，或者是更精准的了解你的客户需求，还是说你要增加边际利润率，或者是提高产品上市的速度，缩短研发周期，这些都是大数据可以做的。另外就是跨界创新，传统企业可以通过大数据这个纽带跟其他企业的业务结合起来。
 
5.成功大数据项目实战案例
 
其实有很多精彩的实战案例，笔者把美国福特公司去年以来做的一个大数据项目跟大家分享一下。
 
福特第一步是确定了大数据用例，销售部门很想知道我怎么用大数据这个技术来提升汽车销售业绩，这是一个非常简单的业务用例。我们需要界定的是，一切影响销售业务的大数据，一般汽车销售商的普通做法是投放广告，看看影响力怎么样，动辄就是几百万，但是具体很难分清楚到底每一个受众看了这个广告以后会不会产生购买这个汽车的冲动，这个很难看到。

大数据技术不太一样，它可以通过对某个地区的房屋市场、新建住宅、库存和销售数据、这个地区的就业率等各种相关的，可能会影响购买汽车意愿的原数据进行分析和收集，还可能会到跟汽车所有相关的网站上搜索，哪一种汽车，哪一种模式，哪一种款式，客户搜索了哪些汽车的价格，车型配置、汽车功能、汽车颜色等等这些客户喜好的数据。
 
福特汽车用这些方法把所有的数据都界定好了以后，第二步是把项目交给了一个差不多200人的大数据分析专业团队，他们获取和搜索所需的外部数据，比方说第三方合同网站，区域经济数据、就业数据等等。
 
第三步是他们获得数据以后，就开始对数据进行建模分析、挖掘，为销售和决策部门提供精准可靠的角色选择和效果分析，也就是说，你选这个方法，可能获得的营销效果是怎么样的，他们做了大概几十种可能的分析。
 
第四步是营销部门和运营部门根据这些数据策划和实施有针对性的促销计划，比方说在某些区，某些州需求量特别旺盛的地方，他们有专门的促销计划，基本上这些促销计划都是根据某一个个体的需求量身订做的，非常非常精准，所以不需要花五、六百万美金，花出去了以后不知道谁感兴趣，只需要花五、六十万美金，就知道谁对这个汽车感兴趣，这个广告就送到电子邮箱和地区的报纸上了，非常精准。
 
最后一步是大数据营销的创新效果衡量，跟传统的广告促销相比，福特花了很少的钱，做了大数据分析产品，我们叫大数据的模型和分析工具，运用这种方法，大幅度地提高了汽车的销售业绩。他们不光在汽车的销售方面运用了大数据，比较成功，还有其它方面的应用，包括汽车的整车质量、保险费用、汽车运输状况、汽车的智能和驾驶模式等等，他们希望用这些数据帮助驾驶员降低保险成本，这样的话可以促进很多销售者对福特这个品牌的认可，扩大市场占有率。

03、大数据项目落地路线总结

根据以往项目经验，一个大数据项目的落地，可以大致总结为五大步骤阶段：数据规划、数据治理、数据应用、迭代实施、商业价值，如下图所示。

大数据项目落地路线图

第一阶段：数据规划

一个成功的大数据项目，需要有一个良好的开端，即做好数据规划阶段的各项工作，具体包括：
（1）战略意图：在这个阶段，要明确战略意图，这个战略意图需要在相关干系部门之间达成一致和共识，换句话说就是为什么要搞这个大数据项目?
（2）战略规划：战略意图清晰以后，就可以作为贯穿整个项目过程的灯塔，接下来要需要将战略意图转变为战略规划，通过战略规划来进一步让相关干系部门和人员清晰的认识到这个大数据项目将要做什么?
（3）商业目标：战略规划完成后，就要明确这个大数据项目的商业目标，即通过这个大数据项目实施，为企业带来怎样的商业价值?是降低成本呢，还是扩大营业收入，亦或是通过创新业务为企业带来新的价值增长点?
（4）执行方针：商业目标确定以后，需要进一步来确定该大数据项目的执行方针，包括：项目执行的基本原则、利益分配原则、分歧处理原则等等。
（5）组织支撑：上述Action完成后，就需要建立对应的项目组织了，成立项目小组，明确相关岗位以及岗位职责，根据不同的战略意图、战略规划、商业目标和执行方针，建立不同架构和规模的组织。

上述Action还都属于项目可以成功落地的先导性工作，那么接下来就是许多细致的具体工作，这些具体工作都是保障项目可以成功落地的基石。

（6）产品(项目)规划：协同各个干系的部门和干系人，有效的建立起来项目内容规划机制，完成产品(项目)的总体规划

（7）场景规划：完成产品(项目)的总体规划，作为大数据项目，需要继续规划出主要的应用场景，场景规划是有效地推动后续步骤阶段的基础，场景如果规划的不清晰，直接会影响到后续的一系列Action的执行。
（8）需求评估：产品(项目)规划、场景规划完成后，需要将规划内容反复与各个干系部门和干系人进行沟通与确认，最终形成项目需求说明书，同时完成需求的评估，评估相关规划和需求是否可以满足战略意图、战略规划以及商业目标。
上述Action完成后，需要从架构和落地角度，进一步深化：

（9）架构规划：根据已完成的产品(项目)规划、场景规划和需求评估，从落地的角度完成数据架构规划，架构规划是项目成功落地的重要环节。
有的大数据项目，还需要引入第三方的数据支持，以及体系内其他非干系部门的数据支持，这样就需要进行有效合作。

（10）合作意图：如果项目需要引入第三方的数据支持，以及体系内其他非干系部门的数据支持，需要充分评估项目风险与合作意图，有效达成合作共识。

第二阶段：数据治理

第一阶段的工作完成以后，已经具备了一个大数据项目成功落地的良好基础，接下来就需要按照数据规划阶段的成果继续后续的环节，首先要做的就是要有数据，并且要有高质量的数据，数据到位才能保障项目的有效推进和执行：

（1）来源评估：在数据治理阶段，首先要进行数据来源评估，展开数据梳理相关的工作，及时发现数据来源可能存在的风险并加以处理。来源评估完成后，确认可以有效获取到所需要的对应数据来源的数据，就可以进行数据的获取工作了。
（2）数据采集：数据采集是一个很重要的工作，只有把数据采集来，才能进行一系列的大数据相关的工作。数据采集过程中，注意数据采集的有效性。
（3）数据预处理：为了更好地、更有效地存储有价值的数据，同时方便系统对数据的使用，部分数据可以做预处理。
（4）数据质量：数据质量环节很重要，如何有效保证数据的质量?直接影响着大数据项目的实施效果，在这个环节中，要投入很多的精力去形成标准，并建立相对自动化的数据质量系统。上述的几个环节，必要时需要借助专业的产品工具。
（5）数据管理：数据管理工作，将影响项目的整个周期，建议采用专业的数据管理产品和工具，或借助有开发能力的供应商量身定做一套数据管理系统。
（6）第三方数据：可以通过数据资产置换、购买等等方式完成第三方数据的接入。
在整个第二阶段会形成一系列的标准和流程，这里不一一赘述。

第三阶段：数据应用

第一、第二阶段工作完成以后，就将进入最重要的第三阶段工作，在这个阶段中，我们将承前启后的推动大数据项目完成落地工作，真正去形成大数据的应用，带来真实的业务价值：

（1）场景细分：在这个阶段，对于第一阶段中形成的场景规划，要进行可被实现的场景细分，通过对场景的细分，形成一个个的用例(Use Case)。
（2）干系组织利益共识：通过场景的细分后的一个个用例(Use Case)，已经可以很好地明确给各干系组织带来的业务价值，在这个时候需要推动各个干系组织形成利益共识，以免由于利益问题导致项目执行的阻碍。完成上述Action后，就需要借助供应商的参与和力量继续完成后续的Action。
（3）功能规划：经过上述Action环节，项目已经进入重要的落地阶段，需要根据已经整理好的用例(Use Case)、数据，形成具体的功能规划。这些功能规划，需要是可被准确识别和实现的，直接对应了大数据应用系统的功能点。

（4）技术选型：完成了功能规划，就需要进行技术选型工作，由于大数据相关的技术非常多，这项工作需要借助专业供应商的力量来一起完成，需要充分考虑非功能性指标，比如：性能要求等等。
（5）产品选型：技术选型后，需要根据选择的技术路线，来找到可供选择的、符合技术路线的产品，完成产品选型工作，如：数据科学平台等等。
（5）应用分析模型设计：大数据项目的一个重要的内容，就是要通过数据来形成各种应用分析模型，借助类似于数据科学平台类的产品，可以快速有效形成各种预测分析模型。完成这个环节的工作，需要有数据科学家、业务分析师等等一系列的角色参与相关工作。或者说引入第三方的成熟产品，如客户智能分析平台、物联网智能分析平台、运营智能分析平台等等，通过引入这些产品来直接引入成熟的分析模型。技术选型、产品选型以及应用分析模型建立后，就需要进行验证工作了，主要包括场景POC和商业验证。
（6）POC：选取具有典型代表意义的大数据应用场景，进行现场的POC验证工作，通过POC，修正和完善每个用例(Use Case)，同时验证技术选型、产品选型的正确性，发现问题及时处理，甚至重新选择技术与产品。
（7）商业验证：POC环节完成后，还需要进行商业验证，验证和评估一些关键场景用例(Use Case)的应用效果，评估和预测是否可以达成商业目标，从而推导出达成商业目标可能存在的问题和风险，进行修订与处理，必要调整各个干系部门和干系人之间的利益共识。

第四阶段：迭代实施

前三个步骤阶段的工作有效的完成后，就进入了第四步骤阶段迭代实施，之所以是迭代实施，也跟大数据类项目的特征有关，就如大数据建立分析模型是一种探索的过程一样，大数据项目的执行也需要进行不断的验证、修正、实施这样的工作，可能需要经过多轮的迭代才能完成项目的建设：

（1）模型应用：第三阶段中经过PoC和商业验证的模型，需要开发为特定的大数据分析应用才能最终为使用者所使用并发挥价值。在模型应用过程中，注意模型的规约和使用条件，注意与现有系统的融合。
（2）系统开发：系统开发工作是保证模型应用环节有效达成的手段，同时通过系统开发能力可以开发出围绕大数据分析应用的外围系统。
（3）效果评价：效果评价环节，主要是组织相关干系组织与干系人，对实施效果进行研讨和确认，同时对利益共识进行确认和达成一致，如果没有达到预期效果则继续进行迭代改进。
（4）业务验证：业务验证工作是保障大数据分析应用项目真正可以融合于业务、服务于业务的重要手段，业务验证建议从业务流程是否通畅、关键业务点是否达到预期目标、是否对业务办理产生障碍等等多方面进行。验证人员需要是使用该大数据分析应用系统的一线业务人员。
如果上述的环节发现了重大问题，则针对问题形成改进方案后进入迭代改进环节。
（5）迭代改进：迭代改进分为小迭代和大迭代，小迭代是在同一期项目中完成的，受到项目上线周期的制约，小迭代可以改进的问题是有限的、小型的。对于影响范围巨大，难度较高的问题需要进入大迭代改进，大迭代一版来说可以规划为项目的二期、三期等等，直到达成预期的战略意图、战略规划和商业目标。
经过上述的Action环节，一个成功的大数据应用项目终于落地了，这也仅仅是落地的开始，接下来的工作是检验项目成果和真正发挥大数据价值的时刻：
（6）实施推广：围绕项目的战略意图、规划和商业目标，进行有效的实施推广工作将变得非常重要，良好的实施推广工作可以真正让大数据应用分析项目用起来，让数据“活”起来，源源不断产生价值。推广过程，要巧妙地运用各个干系部门和干系人之间的利益共识。
（7）数据安全：大数据项目有自己的特点就是一切都围绕数据来展开，说到数据就会涉及到一些隐私数据、高密级数据等等，不管在开发过程中、还是在推广过程中，亦或是在第二阶段的数据治理过程中，都需要严格遵守相关信息安全和数据保密的规划，从技术上和使用上都要保证数据的安全。数据安全是一个大数据项目真正可以成功的重要内容。

第五阶段：商业价值

前面四个步骤阶段工作很好的完成后，就是享受大数据应用项目成果的时刻了，相信在前面四个阶段的各个环节中，各个项目参与人员都受到了或多或少的各种折磨，不过这些折磨都是值得的，因此大数据项目真正可以为企业带来不可以预想的巨大价值，只有上马了成功大数据项目的企业才能深深体会到。在这个阶段中，企业获得了：

（1）数据资产：企业的数据资产是大数据应用项目带来的重要成果，也是推动企业创新、产业升级、企业转型等等的财富。
（2）数据服务：通过大数据应用项目的实施，可以有效推动企业的数字化转型工作，围绕数据资产形成数据服务的能力。
（3）决策支持：通过大数据的预测分析能力，有效提升了企业的决策支持能力。
有效获取了内部商业利益价值、外部商业利益价值，真正去实现了企业建设大数据应用项目的战略意图、战略规划和商业目标。

题外话，如果企业的大数据能力和人员有限，上述路线图中提到的每个步骤阶段，都可以引入供应商来协助企业完成。既可以选择一家供应商负责完成整个项目过程的建设，也可以分步来实施，在不同的阶段选取不同的供应商来完成。

一般来说，建议后面三个阶段最好选择一家有综合能力的供应商来总包实施，这样可以更好完成项目的预期目标。

下图大致总结了选择合作厂商的一点参考，仅供参考：

大数据项目落地路线图，供应商选择参考