亿信华辰仓湖一体解决方案建设内容

口头爱人

2022-11-11

项目中使用亿信华辰自主研发的分布式大数据库产品PetaBase ，代替了传统的关系型数据库作为主要的数据处理引擎。

挑战一：海量数据的存储和处理引擎

PetaBase数据存储基于Hadoop提供的HDFS分布式文件存储方式，支持关系型数据库和非结构化的数据导入，解决了用户海量数据存储的问题。数据处理使用impala内存计算引擎，相对于Hadoop生态中其他的计算引擎，它有着计算快，支持大多数SQL中的DDL和DML语句等优势。在本次HW数字化运营项目中共处理60多T的数据，其中单表最大数据量达到80亿条，3级ETL跑批只需4到6个小时即可完成。

挑战二：企业级的数据仓库和数据集市的建设

IT数字化运营系统共分为四层，分别是底层数据源，存储层，服务层和应用层。底层数据源包含多个业务系统的底层数据，来源于关系型数据库，Nosql数据库，文本数据等多种数据源。存储层通过PetaBase大数据平台进行搭建，在PetaBase中对底层多源数据进行汇总存储并分层处理，形成多层次数据模型，完成面向应用的数据仓库与数据集市的建设。PetaBase大数据平台为其他平台提供数据接口，为上层应用提供数据基础。

挑战三：数据处理的可拓展性

由于PetaBase的数据存储在HDFS中，Hadoop生态中有多种多样的数据处理引擎，并能支持用户自定义函数的扩展（数据挖掘函数等）。项目中有用到多种数据挖掘的方法，比如通过箱线图的算法来排除异常性能数据，然后取正常性能数据升序排序后的90%位置的数据作为性能值的一个度量，并通过用户自定义的函数来实现。