DataOps 标准体系能力框架及实践

DataOps作为一种企业提升数据分析质量和效率的方法论随之兴起。基于DataOps，企业数据中台可以实现更高效的运转，优化数据质量、加快生产周期，实现更好的数据运营、管理、应用。那么，运用DataOps如何能够最大化帮助数据团队运营数据，与业务高效协同？DataOps适合什么样的企业和团队？对于DataOps未来的演进方向是什么？

自2014年大数据首次写入政府工作报告起，我国大数据产业飞速发展，需求旺盛、供给强劲。在国家大数据相关政策的护航下，我国的大数据产业已进入深化阶段。随着发展的不断深入，企业数智化转型逐渐到达了瓶颈，各类矛盾浮出水面。

一是效率与管理之间的矛盾。数据项目寻求快速交付，那么管理就难以贯彻落实。在执行上往往就出现了管理和实施两张皮的现象，许多基础工作遭到了忽视，从而产生了诸多的质量问题；

二是业务与技术之间的矛盾。以前我们技术水平落后，面对的是巧妇难为无米之炊的问题。现在技术发展迅猛，但在业务和技术的衔接上出现了问题，难以有的放矢。

三是需求与供给之间的矛盾。现在的技术发展迅猛，面对企业提出的需求，供给侧能够给出各式各样的解决方案。需求方精力都用在识别和对比，缺乏对需求的深入思考，远离了问题的本质。

在数智化转型的大背景下，企业逐步意识到数据的重要程度空前。各行各业加速建设企业内部信息系统，加快数据平台构建。但在朝数智化转型迈进的过程中，总是存在着一些问题，阻挡着企业完成数智化蜕变。

从企业角度来看，在数据项目的开发、维护、管理的过程中，普遍会遇到一些典型的问题，例如数据项目的人工依赖度高、团队协作配合困难、需求响应时间低于预期、开发流程不够顺畅、管理要求难以贯彻等问题。

已有研究数据报道：99%的企业数字化转型以失败告终，84%的数字化转型项目未能达预期。

在数智化转型这一阶段，企业的业务正处于发展的关键时期，组织内的数据意识已经逐渐成熟，数据相关的需求在这一阶段激增。但是这一阶段，技术引擎的动力略显不足，数据项目的成本高、数据准备的时间长、数据需求的响应不及时。种种问题阻碍住了企业完成数智化蜕变。也是与此同时，DataOps以破局者的身份出现在大家的视野当中，为企业的数据引擎换挡。

DataOps的概念最早在2014年由国外学者提出，随后业界逐步对其内涵进行补充。在2018年DataOps正式被纳入Gartner的数据管理技术成熟度曲线当中，由此进入了国际的视野当中。2022年中国信通院正式牵头启动了DataOps的标准建设工作，以此为基础推动我国大数据产业的多元化发展，助力企业完成数智化蜕变。

从发展上看，自2018年被Gartner纳入到数据管理技术成熟度曲线以来，DataOps热度逐年上升，在21年处在一个从萌芽期到爆发期的关键过渡阶段，预示着未来2-5年内DataOps将得到广泛的实践应用。

从定义上看，Gartner、Wikipedia争相对DataOps提出了自己的定义。普遍认同DataOps具有敏捷、协作、自动化等特点。并且也提到了人员、流程、技术三者融合协作的重要性。

实践上看，欧美国家的一些公司在DataOps的探索和发展上要早于中国。现阶段，我国有更广阔的发展空间和挖掘潜力，在制度保障、人才培养、技术储备发展上都有着长期优势。

在国外。有如Twitter、Google等公司使用面向未来的数据架构，有如公司也在多年前就开始研发了诸如Knowledge catalog、DataStage、Cloud Pak for Data等符合DataOps理念的解决方案，也有像StreamSets公司这样以DataOps思想来引领开发的工具产品。

在国内。也有很多的企业先驱者，通过敏锐的嗅觉和强大的管理执行力去探索DataOps的实践。如中国工商银行、农业银行、平安银行等多家银行机构，联通数科、广东移动、江苏移动、浙江移动等通信企业，阿里、腾讯、浩鲸、数造科技等科技公司，都在积极探索并尝试用DataOps的理念来推动我国数据文化的建设和发展。

DataOps标准的建设意义在于在于三定：

即确定DataOps概念意义、明确DataOps实施流程、把握企业发展阶段和方向。

再有就是通过标准引领的方式，引导企业快速接纳DataOps文化，尽快完成数智化转型，释放数据要素价值。

DataOps的标准体系涵盖了7大模块，分别是研发管理、交付管理、数据运维三项核心过程，价值运营、系统工具、组织管理、安全风险四项保障措施。

标准细分为25大能力、70余项能力要求和200余个动作环节。

目前，标准整体框架达成共识，并完成第一个模块“研发管理”的主体内容和要求。

该标准对DataOps的定义和能力特征达成了共识。

定义：数据研发运营一体化（DataOps）是一种面向数据全生命周期，以价值最大化为目标的最佳实践。聚焦于协同从数据需求输入到交付物输出的全链路过程，明确研发运营目的，细化实施步骤，在系统工具、组织模式、安全风险管理的支撑下，实现数据研发运营的一体化、敏捷化、标准化、自动化、智能化、价值显性化理念

在级别上划分上由低到高分为入门级、进阶级、优秀级、卓越级、引领级5个级别大项。

每个级别大项中又分为3个级别小项。从管理能力、技术能力、动作关联情况以及其他重点四大维度为企业把脉。便于企业更精准掌握现状。

在7大模块中，第一个模块研发管理，已经就主体部分达成基本共识，DataOps研发管理模块包含了4项能力，12个能力项、42个动作环节、210条等级要求和600余项条款要求。

企业可以通过以评促建的方式，掌握当前发展现状，明确未来发展方向。

Q: 对DataOps的理解认识，特别是DataOps解决的核心命题是什么？

A: 先说一个小体会吧，咱们行业搞数据仓库或数据平台工程化的，包括我们的算法工程师、数据科学家等，大家都喜欢吐槽，说自己是搬砖的、填坑的、挖煤的等等，这里面其实说明了很多问题。

似乎有很多没啥技术含量、相对模式化的工作正在折磨着大家，大家的工作幸福指数好像并不高，那DataOps，能搞定这个问题吗？答案是肯定的，DataOps核心要解决的问题，就是要围绕相对复杂的数据处理流水线，基于数据驱动的方法，帮助数据组织不断改进数据活动实施层面的协作效能。

所以，简单一点说，DataOps可理解为在数据运维和数仓开发活动中找到敏捷精益的方法实现系统性降本增效。以联通大数据的应用实践为例，我们内部数据治理疏整促工程和集群治理“巡山”工程的相关实践，这是相对狭义的微观的视角，更大一点的目标是在复杂数据处理流水线上通过自动化工具链真正做到数据开发运维建模治理一体化。比如我们内部的数据开发平台和数据云平台的相关实践，如果从更宏观的视角看，就是通过数据资产运营和数据智能方法论来驱动业务发展和企业数字化转型，比如像我们通过联通大数据能力开放平台开展的数据生态运营及合作实践。

Q：DataOps与数据中台、数据资产管理等概念的区别与联系？

A: 可以说，DataOps是数据中台落地实践过程中的加速器，是数据平台开发运维和数据治理活动实施的润滑剂，是数据科学建模分析和数据资产运营管理的催化剂。具体来看，就像下面这张图，其中橙色部分就是DataOps的价值域，重点就是不断提升数据组织和数据系统之间的协同效率问题。

Q: DataOps在企业中的实践，是否可以举具体案例说明解决了哪些问题？

A: 我先分享一下DataOps在联通大数据公司内部实践过程中的三个要点吧：

1) 借鉴DevOps持续集成与交付方法论，建立数据治理基础框架，实现数据采集、加工、运维、服务过程一站式、体系化、规范化、自助化的流水线管理模式，消除数据生命周期管理、数据质量管理、数据安全管理等方面的隐患。

2) 基于大数据集群健康评分机制，实现数据平台降本增效，从数据计算、存储、调度等各个方面洞察平台效能和数据资源冗余使用画像，实现数据平台、模型和应用的快速部署与开发，使用AI辅助数据治理手段，为上层数据分析和智能化应用提供稳定高效算力和算法支持。

3) 实现数据驱动业务，建立数据资产运营体系，通过技术数据双中台底座，让数据资产能力开放运营过程更加安全、敏捷、服务化和智能化。

具体来说，DataOps可以在我们数据开发、运维、治理、运营、安全这五大领域发挥出非常大的实用价值：

Q：DataOps的理念是否适合在传统行业推行？

A: 关于DataOps的理念，大家看到在互联网公司、创新独角兽企业，以及我们通信运营商领域，确实都有一些实践心得有一些小成绩，但是你要说是否适合在传统行业进行推广，我个人认为跟企业属性或业务范围没有特别大的关系，主要取决于团队对DataOps概念的接受程度和给企业带来价值的目标预期。从过去的交流经验来看，大家也容易陷入一些误区，DataOps确实不是简单的买买工具或者通过自研产品就一定能解决的问题，相反，这些工具或产品会变成“枷锁”甚至是“刑具”，应该优先从数据组织和文化入手，深度思考，围绕数据流水线、数据组织、数据活动三个关键点，找到数据开发、数据运维、数据治理、数据运营、数据安全五大价值域的突破口，可以尝试各个击破、快速迭代优化，最终实现数据组织协作效能最大化。

Q：展望DataOps未来发展，DataOps理念本身是否会有演进？

A: DataOps理念和具体的方法论确实还在不断演进中，业界还没有标准框架和实施层面的通用工具集，但是相对于数据中台更容易落地，因此，我很看好DataOps未来的发展，我相信通过产业界的不断努力，后续DataOps应该是能够显著提升数据组织的幸福指数，提高数据仓库、大数据中心和数据中台等平台类系统工程建设的ROI，最终帮助企业实现数智化转型的大目标。