- 数据分析
- 数据治理
- 产品解决方案
- 行业解决方案
- 案例
- 数据资产入表
- 赋能中心
- 伙伴
- 关于
时间：2022-06-06来源：別跟自己過不去浏览数：104次
在大数据时代，规范地进行数据资产管理已成为推动互联网、大数据、人工智能和实体经济深度融合的必要条件。贴近业务属性、兼顾研发各阶段要点的研发规范，可以切实提高研发效率，保障数据研发工作有条不紊地运作。而不完善的研发流程，会降低研发效率，增加成本与风险。
导读：数仓漫谈系列回顾,从数仓架构到建模、从ETL到数据应用、从多维分析到开发规范、从数据质量到数据治理，从离线到实时。本文将为您介绍数据仓库研发规范的阶段规划、角色职责和整体流程。
在大数据时代，规范地进行数据资产管理已成为推动互联网、大数据、人工智能和实体经济深度融合的必要条件。贴近业务属性、兼顾研发各阶段要点的研发规范，可以切实提高研发效率，保障数据研发工作有条不紊地运作。而不完善的研发流程，会降低研发效率，增加成本与风险。
总而言之，数据资产管理实际上是对物的管理，而研发流程规范管理则是对人的行为的管理。只有落实了作为基础的后者，才能进一步实行数据资产管理方法论。
数据仓库研发规范旨在为广大数据研发者、管理者提供规范化的研发流程指导方法。目的是简化、规范日常工作流程，提高工作效率，减少无效与冗余工作，赋能企业、政府更强大的数据掌控力来应对海量增长的业务数据，从而释放更多人力与财力专注于业务创新。
阶段规划鉴于对日常数据仓库研发工作的总结与归纳，本文将数据仓库研发流程抽象为如下几点：
需求阶段：数据产品经理应如何应对不断变化的业务需求。
设计阶段：数据产品经理、数据开发者应如何综合性能、成本、效率、质量等因素，更好地组织与存储数据。
开发阶段：数据研发者如何高效、规范地进行编码工作。
测试阶段：测试人员应如何准确地暴露代码问题与项目风险，提升产出质量。
发布阶段：如何将具备发布条件的程序平稳地发布到线上稳定产出。
运维阶段：运维人员应如何保障数据产出的时效性和稳定性。
数据产品经理：负责承接、评估业务方提出的数据需求，并组织需求评审、产出产品需求文档，同时需要把控其它更为细化的技术评审。
设计人员：根据已定稿的产品需求文档所述需求，进行数据探查，了解数据形态（数据质量、数据分布），同时根据探查结果实现表设计、Mapping设计、调度设计等系分设计工作。
开发人员：根据设计人员产出的稿件，制定计划并实现代码，同时进行单元测试与代码评审。
测试人员：负责验证需求与结果的一致性，发现代码问题与项目风险。
运维人员：负责发布任务，并处理数据、程序、调度、监控告警等异常事件，保障数据产出时效、程序高效运行和生产稳定性。
信息安全与合规人员：在需求评审前期，负责需求实现的安全性与合规性。
数据仓库研发规范整体流程
下图为根据阶段规划与角色职责的内容，整理出的数据仓库研发规范的整体流程。
注：高质量好文章，建议悄悄转发收藏学习。
附录数据仓库需求模板
数据探查报告
ETL文档
调度设计文档
单元测试报告
发布操作文档
代码评审报告
测试分析方案报告
交付测试报告
质量评估报告模板
验收报告模板
重点规范
设计规范逻辑架构技术架构分层设计主题划分方法论 命名规范各层级的规范任务规范表命名字段级别的命名指标命名标签命名 模型规范建模方法建模工具血缘关系维度退化一致性维度元数据管理 开发规范脚本注释字段别名编码规范脚本的格式数据类型缩写规范 流程规范需求流程工程流程上线流程调度和表生命周期管理。
