- 产品
- 产品解决方案
- 行业解决方案
- 案例
- 数据资产入表
- 赋能中心
- 伙伴
- 关于
时间:2022-02-09来源:别和我装纯浏览数:271次
作者介绍:老朋友了,我就不多做介绍了,现就职BAT一线互联网数仓开发/数据产品经理,喜欢思考数据问题、数据建模、数据sense,谢邀。前文导读:另辟蹊径 | 数仓开发转DPM经验之谈
本文:数据产品经理在数仓建设中的作用
如今,互联网中的数据仓库,已不单单是数据开发工程师的责任,随着业务的发展和细分,对产品经理提出了更高的要求。
开发工程师往往不能够第一时间深入理解业务,或者说理解的不够透彻,完全交给数仓工程师开发的数据仓库,不但时间过长(需要理解时间成本),而且不能很好的支持业务。这就需要数据产品经理参与数仓的开发中。不但要参与数据的建模和逻辑的梳理,还要做好数据的管理和规划。
本文不讨论数据建模的过程,只聊聊在数据的管理和规划中,数据产品经理应承担的工作内容和职责。
一、数据的源头-生产端互联网公司,往往依托用户的行为,来搭建用户的相关行为模型进行分析,所以关于用户行为上报的数据,是最基础的数据也是最重要的数据。只有合理、规范的上报,数据才会产生价值。那么如何做好埋点,并且怎样管理好埋点呢?
1.如何做好埋点简单来说:需要的数据进行埋点,以交互为底、业务价值为依据、时间为起点、需求为最终目标进行埋点的设计。
交互为底 |
任何交互的元素都要考虑是否需要进行埋点 |
业务价值为依据 |
考虑这个交互是否有实际的业务意义,来判断是否需要埋点 |
时间为起点 |
记录此处事件的真实发生时间 |
需求为最终目标 |
需求就是’谁对什么做了什么‘ |
埋点管理的内容大致包含如下:
埋点文档中必须写出埋点上报时机,同时描述准确;
2)参数、参数名称、参数值类型参数里记录的是针对埋点行为,所包含的信息,埋点行为不同,对应的信息也不同,所以不能作为公共字段记录在数据表中,会以json形式,记录在字段中,分析时需要使用具体的信息,可通过函数解析出来(get_json_object)。
3)元信息、备注信息备注信息的意义就是解释说明,例如文档中只记录了物品和怪物的id,具体的名称没有记录,是因为日志中存储汉子易出现乱码,仅记录id即可达到分析需求,并且减少数据量。
4)元编码、编码表同时,埋点文档中,除了第一页sheet表中展示埋点文档外,其后几页需要写出含多个枚举值参数的编码表,方便数据人员进行分析对照。
5)业务宣讲埋点文档设计完成后,即可提交至研发同学,进行宣讲。用户行为分析是基于埋点完成,其重要性不言而喻,所以后期埋点验收也需要产品经理的参与,确保埋点的准确性。
3.埋点方案
如图,目前业内几种埋点方案类型的比较。参考不同类型埋点的特点,在具体的功能场景时,根据具体情况选择对应方案,进行埋点方案的设计。
二、数据字典所谓数据字典,就是用来描述数据指标的一个公司内部的埋点规范。它将数据定义、结构、数据类型、数据逻辑、数据源等进行了一个汇总的文档。那么它的生产与管理过程是怎样的呢?
业务数据是企业运营各个环节的共用实体,连接企业的各个系统,如果存在业务数据不一致,上有无法对接运营系统,下游无法进行数据分析和整合,各个系统间的数据无法进行关联,对企业的运营支持就很有限。
那么如何做好这些业务数据的管理呢?
部门数据主责 |
各个部门主责自己的业务数据,编码数据与主数据一致 |
数据定义明确 |
数据属性定义、标准、规范等统一维护 |
维护流程统一 |
各个部门在申请新的产品时,按照统一申请流程进行填写或修改,流程由数据产品经理统一负责编写与更新 |
数据共享及时 |
虽然业务数据不常变化,但是如有变化,实时性非常高,主要主动告知下游的变化情况 |
数据状态可控 |
数据的增加、修改、删除、冻结等,需要数据产品经理对数据的版本进行管理 |
数据属性完备 |
每款产品,每个数据的属性描述,进行统一的梳理 |
埋点全链路协同流程
写在最后 以上就是数据产品经理在数仓开发过程中,对数仓的工作内容和职责,主要是集中在数据管理这里,这是一项非常繁琐且重要和有挑战性的工作。如果中间的歧义产生较多,那么就会反馈到业务上来,当进行更深层的业务逻辑分析时,会产生更严重的问题。今天的分享到这里就要说再见了,希望能对你有所帮忙。数据产品经理DPM和数仓开发工程师是相爱相杀的关系,高效协同配合才能充分发挥数仓的能力和数据的价值。One More,再次谢邀,也欢迎大家关注这个高质量的公众号,一起进步!
下一篇:数据中心产业图谱研究报告...