完整的数据分析流程，分哪几步？

2021 年起，有一件事已是不可逆的趋势 ——未来商业世界里，大部分公司，都需要拥有驾驭数据的能力，学会用数据做精细化运营，利用数据驱动业务的增长。

所以，数据岗位，是未来 5 年内，无论什么行业都有持续需求、非常值得深扎的方向。

今天，小编就来给大家科普一下数据岗位：定义、工作流程、进阶方向、价值......

目录：

数据分析

数据产品经理

ETL

BI

什么是数据分析：

数据分析是基于商业目的，有目的的进行收集、整理、加工和分析数据，提炼有价信息的一个过程。

数据分析工作流程：

其过程概括起来主要包括：明确分析目的与框架、数据收集、数据处理、数据分析、数据展现和撰写报告等6个阶段。

明确分析目的与框架

一个分析项目，你的数据对象是谁？商业目的是什么？要解决什么业务问题？数据分析师对这些都要了然于心。

基于商业的理解，整理分析框架和分析思路。例如，减少新客户的流失、优化活动效果、提高客户响应率等等。不同的项目对数据的要求，使用的分析手段也是不一样的。

数据收集

数据收集是按照确定的数据分析和框架内容，有目的的收集、整合相关数据的一个过程，它是数据分析的一个基础。

数据处理

数据处理是指对收集到的数据进行加工、整理，以便开展数据分析，它是数据分析前必不可少的阶段。这个过程是数据分析整个过程中最占据时间的，也在一定程度上取决于数据仓库的搭建和数据质量的保证。

数据处理主要包括数据清洗、数据转化等处理方法。

数据分析

数据分析是指通过分析手段、方法和技巧对准备好的数据进行探索、分析，从中发现因果关系、内部联系和业务规律，为商业目提供决策参考。

到了这个阶段，要能驾驭数据、开展数据分析，就要涉及到工具和方法的使用。其一要熟悉常规数据分析方法，最基本的要了解例如方差、回归、因子、聚类、分类、时间序列等多元和数据分析方法的原理、使用范围、优缺点和结果的解释；其二是熟悉多种数据分析工具，Excel是最常见，一般的数据分析我们可以通过Excel完成，后而要熟悉一个专业的分析软件，如数据分析工具SPSS/SAS/R/Matlab等，便于进行一些专业的统计分析、数据建模等。

数据展现

一般情况下，数据分析的结果都是通过图、表的方式来呈现，俗话说：字不如表，表不如图。借助数据展现手段，能更直观的让数据分析师表述想要呈现的信息、观点和建议。

常用的图表包括饼图、折线图、柱形图/条形图、散点图、雷达图、金字塔图、矩阵图、漏斗图、帕雷托图等。

撰写报告

最后阶段，就是撰写数据分析报告，这是对整个数据分析成果的一个呈现。通过分析报告，把数据分析的目的、过程、结果及方案完整呈现出来，以供商业目的提供参考。

一份好的数据分析报告，首先需要有一个好的分析框架，并且图文并茂，层次明晰，能够让阅读者一目了然。结构清晰、主次分明可以使阅读者正确理解报告内容；图文并茂，可以令数据更加生动活泼，提高视觉冲击力，有助于阅读者更形象、直观地看清楚问题和结论，从而产生思考。

另外，数据分析报告需要有明确的结论、建议和解决方案，不仅仅是找出问题，后者是更重要的，否则称不上好的分析，同时也失去了报告的意义，数据的初衷就是为解决一个商业目的才进行的分析，不能舍本求末。

数据产品经理，是在产品经理的基础上，叠加上数据从业人员的职业素养，从而创造出一些为数据人员服务的产品和平台。一个组织的数据好不好，乱不乱，都要依赖数据产品经理的职业素养。

数据产品经理的目的是使企业里面人人都是数据分析师，降低数据的使用的门槛，提高数据使用效率。这个是作为数据产品经理最基础的、核心的工作。

胜任数据产品经理应具备哪些能力？

基本能力：交互设计能力、需求梳理能力、数据理解与使用能力、数据分析能力、业务建模能力等。

以上属于基本的岗位技能，但满足这些基本的能力之后，会更看重沟通协调能力和项目管理能力；后面的这两个能力是解决从一个概念到最终落地的核心关键，如果没有后者，只满足前者的基本能力也可以，尤其是做的特别好的，也很不错，但慢慢会成为工具人。沟通协调能力和项目管理能力是非常重要的，这两个能力是解决从基本的数据概念/应用概念到落地的一个核心的关键。

做好沟通管理的关键因素有哪些？

从项目管理的角度来说，其实是有方法论的。比如去做大型的项目，可能会按照一套标准的流程来走，输出各种文档、有各种规范等等。每一个环节都要注意什么，都是有方法论的。这里面是有很多的通用方法，所以建议大家先去了解项目管理的一些基本方法，再结合实战去锻炼自己。

ETL就是抽取、转换、加载这三个单词的缩写，所以顾名思义主要的工作就是把数据从哪块儿抽过来，然后进行一个清洗、加工，最后再存到哪块儿。

ETL工作流程

抽取：这个环节可能主要是比如说Sqoop、Flume、Kafka、还有Kettle、DataX、Maxwell这些都是抽取工具。离线可能主要是用的Sqoop或者是DataX去进行离线数据的抽取，像实时可能会采用比如说Flume或者是Kafka、Maxwell，还有Kettle去进行抽取。

转换：转换包括清洗、合并、拆分、加工等等，可以用Hadoop生态的东西， MapReduce、Spark、Flink、Hive等去进行数据方面的清洗。

加载：抽取转换之后，就是将数据加载到目标数据库。可能会用到Hbase去存储一些大数据方面的东西，或者HDFS等等这些工具。

ETL工程师的岗位价值

ETL的工作主要是对数仓的底层建设，ETL这个岗位是非常重要的，因为它属于是一个基础，如果ETL工作做好的话会有事半功倍的效果。

如果做不好可能后续会有很多的一些问题，比如说数据如果没有清洗好，后续分析起来可能会有很多的脏数据等等。而且数据使用起来也非常的不方便。

ETL工程师进阶指南

初级：对业务理解的不是特别的深入，技术上也就是会使用，出现一些问题可能不能独立解决或者是独立解决的问题数量会比较少，需要去咨询大牛之类的。

中级：对业务相对来说比较熟悉，另一方面就是理解能力也比较强，技术上可能已经比较熟练了，而且还对框架、原理都有一些了解，也会调优。而且中级可能会参与到管理中，分一个小组，做一些比较小的项目或者需求。

高级：对业务就是非常熟悉，技术是服务于业务的，所以熟悉业务非常重要，我们现在实现的功能，其实就是建立在业务的基础上去做的，另一方面高级的ETL工程师对各项技术、系统架构都非常熟悉或者是会设计这样的架构，同时具有管理能力，可以带领团队完成项目。

BI全称商业智能（Business Intelligence），在传统企业中，它是一套完整的解决方案。将企业的数据有效整合，快速制作出报表以作出决策。

商业智能BI在数据架构中处于前端分析的位置，其核心作用是对获取数据的多维度分析、数据的切片、数据的上钻和下钻、cube等。通过ETL数据抽取、转化形成一个完整的数据仓库、然后对数据仓库的数据进行抽取，而后是商业智能的前端分析和展示。

BI的用途

一种是利用BI制作自动化报表，数据类工作每天都会接触大量数据，并且需要整理汇总，这是一块很大的工作量。这部分工作可以交给BI自动化完成，从数据规整、建模到下载。

另外一种是使用其可视化功能进行分析，BI的优点在于它提供比Excel更丰富的可视化功能，操作简单上手，而且美观，如果大家每天作图需要两小时，BI会缩短一半时间。

BI的步骤

大体分为以下五个步骤：

数据源读取

数据清洗

数据关联

图表制作

Dashboard整合

BI给企业带来的价值

整合信息孤岛——整体分析问题BI可以将企业信息化的数据孤岛整合起来，提供一个全局的视图，让决策者可以更加全面地看待问题，降低决策失误风险性。

提高决策质量——深入分析问题BI能够将数据转换为知识进而辅助决策，能够使决策者决策更加迅速准确，能够给企业注入新的革命性的管理思想。决策者可以根据BI提供的钻取功能对数据结果进行追根溯源，使问题的分析不止步于表面结果，发掘出数据中包含的机会：即如何以更低的成本、更快的速度、更高的质量完成任务；这使管理者能在质疑中不断以创新来获得差异化竞争优势。

数据挖掘预测——长远分析问题BI系统的预测功能使企业看问题更长远，决策更具前瞻性。BI会根据对积累的大数据进行挖掘，得到数据的之间潜在的规律或趋势，进而做出下一步预测。由于它需要复杂的算法、统计模型和大量的数据，所以需要支持大数据量的处理能力，像并行算法和网格计算是非常有必要的。

帮企业进行风险预警——风险的预测和评估是非常重要的。企业可以在BI系统中设置数据报警阈值，数据一旦超标，系统会以各种手段通知到管理员，使企业风险可控，减少安全漏洞。

提高员工工作效率——在没有BI之前，员工要写大量复杂的SQL语句，制作大量报表以满足业务要求，决策者在面对大量堆积报表数据也感到头疼。而BI则彻底改变了这种现状，使业务人员可以轻松进行数据分析，使决策者可以自在查看分析，及时查看到决策所关心的数据。

从特点上分析，BI的投入成本低、更加平民化、更加易于操作，部署周期更短，让更多的企业客户能以较低的投入享受到最专业的大数据服务。

商业智能最大意义就是数据分析能够让公司里所有人都获益。它不是一种特权，不是只给公司里的一两个人看，而是能够让公司里面各个业务部门，特别是前线打仗的部门，能够直接得到好处。