平台工具+数仓构建数据产品（二）

      一个热爱数据产品的工具人。

      “数据人创作者联盟”成员。

      接：业务数仓建模，平台工具+数仓构建数据产品

      01 引言

      滴滴橙心优选主要做社区电商，笔主主要负责电商中商城用户行为数据建设。用户行为数据具有巨大的商业潜力，他可以最大程度的还原用户在商城的购物场景，产品可以根据用户行为对产品体验进行优化，运营可以根据用户行为做精细化运营方案。电商环境中用户行为非常多，且分析视角多元，如何在电商复杂的业务场景中让业务利用好用户行为数据，是数据产品需要解决的问题。

      02 大数据生态组建

      以下是笔主利用滴滴的平台工具（大数据生态组建）及数据仓库能力构建的数据产品，分享出来，与大家探讨一下

      关于滴滴的平台工具（大数据生态组建）：

      omega：一站式埋点数据解读

• 数据梦工厂：一站式全流程数据开发体验
• 数据地图：一站式元数据中心，数据资产图谱
• 指标字典：消除指标二义，定义最准确的指标
• 数易：敏捷、自助式数据分析和可视化平台
• 异动分析：自动化数据分析定位工具

     关于滴滴的平台工具（大数据生态组建）在用户行为数据中的应用场景：

      用户行为数据也可以说是埋点数据，由一系列的用户事件构成，例如用户注册、用户登陆、用户浏览商品、用户加购等。区别于其他订单类的业务数据，埋点数据没有固定的业务流，是片段的，需要根据业务场景对数据进行组装，进行结构化。

      举例：如图所示，需要看首页banner有多少人看到了，有多少人点击了

      业务流程：拆解需求->设计埋点->埋点上线->etl数据->展示数据

      1、拆解需求

      核心：拆解展示数据依赖的业务要素，确保埋点时必须有这些业务要素

      有多少人看，有点少人点，其次是哪个位置。这里面有几个属性，人、看了什么、点击了什么、在什么位置，设计埋点的时候需要有用户信息，位置信息，曝光信息，点击信息

      2、设计埋点（滴滴omega平台）

      优先结构化埋点，分为四部分，业务线、业务线页面、页面模块（区域）、区域中的元素

      确认事件类型，分为曝光事件、点击事件

      确认事件属性，分为公共属性（大家通用）、私有属性（单独业务线具有）

• 对应1:模块是橙心优选APP（a）->首页(b)->banner区域(c)->banner图(d)
• 对应2:事件类型有两个，一个是曝光（sw），一个是点击(ck)
• 对应3:事件属性暂且定义公有属性，私有属性按照大家的分析场景可以自己补充，因为和人相关，所以必须携带userid,为了方便做用户画像，可以把用户携带的设备信息也带上，譬如imei,设备类型。私有属性也举个例子，这个部分d点位有可能是图，有可能放商品，分析的时候想区分都放了哪些图，所以需要一个参数去区分不同的图，定一个私有属性为资源id

       3、埋点上线

      设计需求的过程中对应的四点，一定要确定前端都传输了，并且告诉测试着四点是必须要侧的，保证以上数据就可以满足最基础的数据质量

      注意：有些参数涉及到前后端的交互，沟通时需要注意，其他还OK

      4、etl数据（数梦）

      埋点数据在业务系统中，需要回收到数仓，数仓去开发脚本任务，也叫etl的过程

      设计表结构

       新建周期任务，准备脚本

      脚本发布

      执行任务、重跑数据

      注意关于数据层级与数据仓库：

      数据要有层级、要有结构，并且满足多方人的看数据诉求，要保证所有人对于数据的理解一致。数据建模的过程也是etl的一部分（后面讲这部分，这个内容是业务数据产品的核心）

      5、数据展示（数易）

      新建数据集

      配置加速

      创建报表

      可视化展示，用数据集去拖看板就OK

      数据中台构建的是数据产品矩阵与一套解决方案，利用滴滴丰富的大数据生态组建，可以迅速提升数据应用的迭代能力

      数据中台需要以数据价值、需求场景为导向，以业务板块和分析维度为架构，去构建数据中心。

      基于数据价值，需求场景为导向，对数据中台数据提出了更高的要求，包括增强数据的协同能力，建立丰富且厚实的数据资产，打造最具价值的场景应用，实现普惠的数据消费能力，实现数据可视化、可分析、可决策、可行动。每个公司的数据能力层次不齐，通过数据中台的能力，可以让公司不同域的数据达到同等程度。

      03 业务指标统一

      数据产品不是简单的指标罗列，不是按需的看板迭代，是一系列业务指标和分析方法组成的有机体。好的数据产品可以加速数据的使用效率，提升数据的可读性，数据产品是业务数据化的体现。业务指标的主旨是明确数据口径，明确数据差异，明确数据使用场景。

      前两篇笔主分享了大数据生态组建和数仓建模，这篇主要分享基于数仓建模后对指标的管理，确保所有人对同一指标的理解一致.

      指标背景

      指标是业务和数据的结合，是量化业务效果的依据

      指标是数据共享的桥梁，是促进业务合作的润滑剂，是共同达成目标的依据

      指标问题：

      指标问题，反映在数据上，即为数据不一致问题。

       口径有交叉，数据不一致：同一场景数据源不一致、不同的场景加工口径不一致，都导致数据不一致。数据逻辑不明确，数据不一致：高密度的开发，导致逻辑分叉多，产品抽象度差，牵一发而动全身，整个产品都是黑合。

      指标生命周期变，数据不一致：业务有生命周期，指标也有生命周期，业务是一直变化，指标却没有跟着变化

      结果：同一个指标被业务来回问，沟通成本极高数据不一致会造成业务沟通障碍，影响大家对业务的认知，很难对齐目标

      指标目标

      规范统一指标，解决数据不一致问题，提升数据对外服务质量和效率，使各部门合理高效利用数据

      落地步骤

      指标在各个环节都会出现不一致的现象，我们需要明确指标的应用场景及加工逻辑

      04 数据应用案例（这部分业务背景大家可以在前面文章里面找找）

      1、全面梳理指标

      2、基于业务场景明确指标

      3、基于数仓明确指标定义

      4、新建指标明确定义

      想了解更多数据知识也欢迎看，7 位大厂产品联合写的《大数据实践之路：数据中台+数据分析+产品应用》这本书。