招商银行：数据驱动的数字化应用实践

近日，招商银行研发中心高级架构师陈翔莅临观远数据2022智能决策峰会，带来《基于数据驱动的招行数字化应用实践》主题分享，详细介绍了招商银行「圆方数据分析平台」建设的前世今生。从用户痛点需求到“让业务用起来”的企业价值，从平台技术建设到运营推广，从应用现状到升级规划，深度讲解招商银行领先的数据分析平台建设经验，为更多期望实现“数据驱动”的企业提供路径参照。以下为招商银行研发中心高级架构师陈翔的演讲实录：

01. 让业务用起来的企业价值

本次峰会的主题是“让业务用起来”，我认为这个观点背后隐含了两个重要的事情：

第一，你必须能够通过某些手段解决用户在用数过程中遇到的切实痛点；

第二，这些解决用户用数痛点的手段必须能够让用户用数的门槛降下来，让用户用数更加方便，能够快速敏捷的形成产出。总而言之，业务要能够自主的把数据用起来，一定是能够感受到数据对他们的工作带来了帮助和便利，甚至能够直接提升他们工作的成效。

从招行以前的实际用数场景来看，用户用数的最主要痛点主要是以下几个方面：

数据分散：数据太多太分散。想用的数据不知道在哪里，也不知道找谁要，并且数据的使用上还存在着一些“竖井”的现象；

手工数据：以往一线业务用户更习惯使用Excel工具来进行数据分析工作，数据散落在不同的Excel文件里，很难进行安全以及数据质量的管控，以及复用和共享；

迭代更新慢：以往报表开发的工作模式是IT根据业务需求进行报表制作，银行的业务特点是数据口径复杂多样，需求更新变化快、多，IT很难快速响应业务的变化；

取数过程曲折：数据要流转到真正用数的同事手中，面临了各种各样的障碍，比如技术门槛高、数据申请流程长、沟通成本高，总之就是过程太长，耗时耗力。 意识到存在这些问题后，招商银行在2018年开始打造一整套面向分行的IT和业务用户自主用数的平台和工具，内部称之为「分行数据云」，助力全行用户在数据分析方面全流程实现低门槛、可视化、全自助，让业务真正把数据用起来。经过几年的发展，「圆方数据分析平台」已经成长为其中最重要的平台之一。

02. 圆方平台的前世今生

圆方平台的建设过程也很曲折。招行其实从很早以前就有建设数据仓库和大数据平台，但主要是面向总行级的部门和团队使用，招行分行一线业务中台人员其实很难享受到技术带来的变革和创新。44家分行各自建设以及运维本地的数据仓库，总行在ACS私有云的支持下，构建了一整套面向分行的大数据云化服务，作为全部44家分行统一的核心数仓定位存在。 在2018年规划整个分行数据云服务的初期，我们也和很多分行进行过调研和沟通。分行用数普遍存在一些共性的痛点，比如业务人员无法自主用数，缺乏完整的、体系化的一体化数据开发平台等等。基于这些背景，总行架构管理团队研究了大数据领域的发展趋势，且正好赶上招行自己内部私有云建设的时机，适时地提出了大数据云化这样一条创新服务的模式。 「分行数据云」项目从2018年11月启动以后，经过9个月的建设过程，第一版于2019年8月上线，并在2020年3月进行了全行推广使用。在接下来的两年多的持续迭代过程中，活跃用户数已经超过4万人，基本实现了数据平民化的使用，也说明一线人员对于“自主用数”这种模式的认可。

03. 数字化平台介绍

前面简单介绍了招行数据云的建设历程，接下来将具体分享一下数据云平台是如何做到让业务自主用数的。 通过「分行数据云」，我们为分行提供了高效便捷的用数体验，圆方平台更成为了分行数据工作的主战场。目前： 平台月活用户数已经达到4.2万规模； 平台在分行的渗透率达到80%；月均访问次数600万+。

回过头再来看看以往的用数模式，经过用户的申请，然后审批提数，最后才能到业务人员手中进行数据分析工作。而现在业务人员自主在平台上进行数据分析工作，已经完全摆脱了以往流程上的一些束缚，效率大大提升。据我们统计，一项数据分析工作从以前的平均5个工作日缩减到了目前的1个小时。

在平台的技术建设方面，我们主要关注到以下四个方面： 

技术架构：以大数据的开源组件Spark为核心，构建了一整套可扩展的技术架构，通过多实例部署，实现圆方平台的高可用；利用ClickHouse的核心技术，打造了极致的查询体验，目前平台上面93%的查询能够在3秒内完成。 

平民用数：实现拖拉拽式的ETL以及数据分析，所见即所得，大大降低了用户的用数门槛。实现多终端适配，支持移动应用免APP的部署，降低用户侧产出的难度。实现了通过订阅和预警有效触达一线用户，实现数据分析全链路的内容资产化，降低用户在数据分析各个环节的使用门槛。 

开放融合：支持多种类型的数据源接入，支持通过数据API服务赋能下游应用，从而拓展更多的使用场景。我们对接了分行常用的一些数据应用，并且支持外部的系统对于产品功能进行封装和融合，打通了数据支持应用的一个通道。 

安全管理：满足多场景的数据分发需求，满足多网段数据使用的安全需求，集成了行内的安全审批各项流程。 能达到全部分行全面自主用数的目标，光有平台我们觉得是不够的。在这几年的推广工作的过程中，我们深刻意识到随着平台的不断推广，数据使用的需求不断增多，我们需要帮助用户更快速的成长，获取对应的数据分析技能，提升用户的数字化思维，同时也能够帮助用户快速解决数据分析工作中的各类问题。我们专门投入了运营资源，希望通过对分行的运营支持工作全面统筹，协调规划分行在用数方面的痛点、问题、诉求和解决方案。通过运营工作的推动，用户个人单兵作战能力以及数据协同能力不断提升，切实解决了业务中台人员自助分析数据的障碍，以及一线人员用数的障碍，形成了全行范围内的用数文化，构建了数据驱动型的组织。

04. 未来展望

我们的平台和运营工作进展到今天，其实感觉到后续的工作会更加艰巨。我们的目标也不仅仅是让业务把数据用起来，还要让业务把数据用好。因此，我们的平台和服务将会在以下五个方面持续升级： 

构建一站式平台，端到端方案：从数据汇集到数据治理，到数据存储，到可视化分析，到多终端平台展现以及到订阅分发，通过一个平台一站式搞定。 

可视化、零代码：无论是数据处理还是可视化分析，还是页面的展示逻辑，全部通过拖拽式的操作，所想即所见，所见即所得。 

云原生，高性能：基于云原生架构，支持从单点到上千节点的超大集群的伸缩部署，满足不同数据规模、不同数据时效的各类场景。 

多终端适配，丰富场景支持：顺应大数据技术的发展潮流，移动应用免APP部署，大中小屏幕快速适配。 

走进业务，赋能业务：运营工作更加接地气，更加贴近用户的实际诉求，推动IT和业务的全面融合，赋能业务。 最后总结一下，只有降低数据分析的使用门槛，降低一线业务人员使用数据的技术难度，加大数据分析人员自主用数的积极性，才能让一线数据人员便捷高效地产出数据成果，提高产能。真正做到数据驱动业务，体现出数据的真正价值。