大数据感知与数据治理的理念和实践

1大数据时代面临的挑战

5G的大潮为互联网带来更多的发展机遇。随着资费下降，带宽的增加，语音视频等流量的增长以及物联网技术的飞速发展，互联网的数据更加多元化。更多数据通过各种新型终端被生产出来，特别是物联网终端自动生产的数据，通过网络汇集到数据中心，人类正在进入一个信息大爆炸的时代。

随着各地大数据中心的建立，越来越多海量、多源、异构的数据被采集和汇聚，如何尽可能地把分散的数据进行融合共享，并且充分挖掘其中的应用价值，已成为当下大数据治理需要面临的重大挑战。

与此同时，隐私保护、数据安全也成为政府和个人日益重视的问题，在享受数据为我们带来便利的同时，安全、可信、合规地使用数据资源也是我们必须要面对的重要课题。

锐安最新一代Ayena大数据智能化解决方案的架构，是通过采集感知体系（Percept）来获取数据并接入到Ayena大数据平台。通过基于零信任思想的安全保障体系（ZeroTrust）来解决数据的安全问题，以数据为重心、以身份为边界、以行为定规则，构建纵深防御体系。这两个方面就构成了大数据平台的“采”和“管”。同时，在体系的中间，是对大数据进行处理的云平台架构，其由IPDS四层组成，IaaS、PaaS主要依托于锐安的生态伙伴的能力来提供，中间的DaaS主要解决数据的“治理”问题，也就是Ayena大数据平台。

图一：Ayena智能化大数据解决方案架构

Ayena取自佛教第八识阿赖耶识的谐音，是将眼、耳、鼻、舌、身、意、意根跟前七识所感知的数据提炼保存，代表无所不包的知识。锐安Ayena大数据平台经过多年的发展之后，现在已经形成完备的产品体系，包含了智能数据集成（AyenaStream）、智能组织存储（AyenaLake）、智能分析挖掘（AyenaRefine）、精细化数据治理（AyenaWeir）四大子产品。其中，AyenaStream是数据的智能集成，它将采集的数据，通过数据流的方式进行标准化处理，把数据加工成信息。整个过程就像涓涓细流汇入湖海，将各个渠道来源的数据汇聚到数据湖AyenaLake当中，它是基于一种智能数据组织、存储以及服务的数据中台架构。数据在湖中不能是孤立和静止的，所以需要通过AyenaRefine进行充分的智能分析、挖掘，之后数据湖当中的湖水就更加清澈，更好地服务不同使用场景。而整个的数据处理和分析挖掘的过程并不是杂乱无章的，需要通过精细化的“水利工程”即AyenaWeir对湖水进行疏导，对它的全过程进行控制，对它的数据处理的质量和运行的状态进行监控，Weir的意思是堤堰而非水坝，它的目的不是要堵住数据的水流，而且要更好地疏导湖水的流向。

在Ayena之上是SaaS层，Ayena对万事万物进行了全面的刻画和了解，形成丰富的知识，SaaS层以此解决实际工作中遇到的各种问题，这种运用知识解决问题的能力就是智慧，我们称之为般若，也就是Prajna。在这一层通过搜索、档案、关系分析、时空分析、行为分析等一系列应用服务构成基于数据感知和数据治理的智能应用体系。

所以说，锐安科技聚焦的主要产品体系所解决的问题，就是覆盖了大数据的“采”、“治”、“用”、“管”四个方面，始终致力于“让信息更有价值”。而周边包括生态的感知和云计算产品可为整个体系提供助力，共同致力于打造行业内最优的智能化大数据解决方案。

Ayena最核心的设计思想就是让数据治理体系像人类一样去学习和思考。人类对世界的认识过程，是将采集感知的数据在大脑中加工成信息，再通过归纳和演绎的方法，在大脑中循环往复的学习，把信息变成知识，利用知识进行推理决策，最终成为智慧。

Ayena大数据体系，将原始库、资源库、主题库、知识库按照数据总量逐层降低、价值密度逐层提高的方式进行组织，通过分类分级的方式对数据进行纵向切片，构造出多维度立体化的大数据资源金字塔。

通过将不同来源、类型、结构的海量数据接入、提取、清洗，使数据全面融合；

通过全生命周期的数据处理，运用系统中已有的一般性知识，以演绎的方法使信息螺旋生长，转化为个别性知识，构造行业知识图谱；

通过分类、聚类等数据挖掘手段，以归纳的方法学习、获取一般性知识，再将这些知识运用到数据处理中，彼此循环递进，实现数据治理体系的自我进化；

最后，利用知识提供智慧化的应用，并通过对应用反馈的学习，进一步提升大数据治理体系的智能化水平。

在整个过程中，治理体系是由Percept产品和Ayena体系来支撑的，其中的数据处理引擎就是AyenaStream，数据挖掘引擎就是AyenaRefine，形成大数据资源的多维金字塔就是AyenaLake，而智能应用体系是由Prajna产品来支撑的。整个从数据到信息，从信息到知识，从知识到智慧的过程是由AyenaWeir产品来引导和监督的。

以上是锐安科技大数据感知与数据治理以及生态合作的基本理念。下面再详细介绍下锐安科技在这方面的具体实践思路。

1）大数据的“采”——数据采集感知（Percept）

目前，大数据面临的问题往往是对数据的识别和有效分析的手段比较单一，而且依赖的是以往的知识，依赖于用规则来对数据进行分析，传统的方法是对业务端口与DPI的流量分析和业务识别，这些方法很容易受制于对知识认识的滞后性，从而会导致很多新的应用无法被识别。同时，对特征库要进行长期的人工维护和更新，不但费时费力，而且对一些新的知识也无法快速去学习。锐安科技最新一代的数据采集产品（Percept），面对的是快速增长的未知网络流量，基于机器学习、神经网络以及其它高级分析技术，通过兼顾网络的流量、连接及对象进行识别，构造出网络行为特征、模型库（基于模型来对网络信息当中所存在的数据的特征来进行识别），这样就能在数据当中发现有效的信息，并且通过人工智能、多媒体处理及自然语言处理的方法去解析一些非结构化的数据特征，通过这些方法从未知领域发现更多过去无法分析出来的数据。另外，从端口、业务、模型的级别去识别出不同的协议类型，将不同的协议数据分流到不同的应用当中去使用，使得不同的应用可以获取到最需要的信息和知识，有效解决了大数据所要解决的数据采集有效性问题。

2）大数据的“治”——数据融合治理（Ayena）

锐安科技的数据治理全过程包含数据接入、处理、组织、分析挖掘、知识图谱构建以及数据服务等环节。

数据的接入主要包括定义数据全生命周期的治理策略和实现对多源异构数据的统一接入；

数据处理环节是应用平台知识库里面的知识，对于一些结构化的数据以及文本、语音、图像、视频等多媒体数据进行标准化处理，为数据的分析和挖掘做好准备；

数据组织根据数据应用的需求和定义好的策略，实现数据资源分级分类的构建，形成不同用途的数据资源库；

数据挖掘是利用模型、对象化、标签化等手段，对数据进行离线的智能化分析，实现对数据的深度挖掘，使数据价值密度提升。在精细化的数据治理过程当中，锐安科技通过对数据资产全面的把握和数据治理全流程的控制以及数据运维的安全保障，使得数据可以稳定、高效地进行处理和挖掘。

3）大数据的“用”——数据智能应用（Prajna）

数据的智能应用重点体现为应用者所提供的应用服务。锐安科技在构建完整的大数据体系之后，把数据进行充分的整合，可以将数据进行充分的融合和治理，形成有效的知识。而这些知识如何去使用，Prajna则提供了一系列的工具，比如通过使用众创共享去实现智能进化，充分发挥大数据平台体系的能力，帮助开发者快速的构建应用。整个体系是由众创环境和共享环境来构成的，其中由模型工厂和应用工厂组成众创环境，应用开发者可以使用平台体系提供的一系列CBB（Common Building Block）组件以及通用的算法和模型，快速搭建出业务所需要的模型和应用；同时通过平台体系的共享环境，将应用通过应用超市实现共享，使得不同的用户可以更快地使用到平台上的应用。另外，平台利用用户评价来促进应用的不断改进和提升，通过学习用户的反馈和使用体验，不断让应用进化，让应用更加易用、有用以及好用。

4）大数据的“管”——数据安全访问（ZeroTrust）

目前，国家已经出台了《数据安全法》，将数据安全提升到一个更高的层面。而锐安大数据安全体系的构建正是为了保护融合与治理之后的大数据安全。锐安大数据安全体系的设计，主要体现为服务化和纵深防御。服务化是将安全类技术资源，包括传统安全的硬件、软件进行集中的管理，构建出安全防护和零信任两大体系，并通过服务管理把它变成可以被安全管理员使用的资源。安全管理员根据自己的需要，结合等保的要求提高如终端安全、边界安全、网络安全、应用安全等等各种实体安全的能力，以此形成对整个大数据安全的纵深防御，使得数据泄露和滥用现象不再发生。

值得一提的是，锐安科技新一代的大数据安全体系基于零信任的理念，构建了身份认证、权限管理、业务审计、业务审批、环境感知、安全策略控制六大安全服务，按照数据敏感程度，对数据进行分类分级，综合考虑了用户、终端、应用、环境等因素，对主体进行了数据访问的授权，确保了大数据处理全程的可知、可管、可查、可控，并形成数据安全、身份可信、行为合规的统一大数据安全纵深防御体系。

在数据安全防御方面，特别采用了对数据进行分门别类的划分，包含数据分级、分类、资源敏感度分类等。支持对于原始库、标准库、主题库、知识库等数据库的分类分级管理。数据分级主要是从数据敏感程度上进行划分；数据分类是在数据集、数据字段以及数据字段关系上进行差异化的控制，将数据面向不同的用户和任务开放使用权限。

以上，就是锐安Ayena大数据体系在构建过程中的理念和实践思路。目前，锐安科技还在持续扩大其大数据治理领域的生态合作，希望在市场、产品、研发等方面与生态伙伴实现“携手共赢——Run better with you”的目标。