可免费试用30天
已有30000+人申请
2022-11-11
项目中使用亿信华辰自主研发的分布式大数据库产品PetaBase ,代替了传统的关系型数据库作为主要的数据处理引擎。
挑战一:海量数据的存储和处理引擎
PetaBase数据存储基于Hadoop提供的HDFS分布式文件存储方式,支持关系型数据库和非结构化的数据导入,解决了用户海量数据存储的问题。数据处理使用impala内存计算引擎,相对于Hadoop生态中其他的计算引擎,它有着计算快,支持大多数SQL中的DDL和DML语句等优势。在本次HW数字化运营项目中共处理60多T的数据,其中单表最大数据量达到80亿条,3级ETL跑批只需4到6个小时即可完成。
挑战二:企业级的数据仓库和数据集市的建设
IT数字化运营系统共分为四层,分别是底层数据源,存储层,服务层和应用层。底层数据源包含多个业务系统的底层数据,来源于关系型数据库,Nosql数据库,文本数据等多种数据源。存储层通过PetaBase大数据平台进行搭建,在PetaBase中对底层多源数据进行汇总存储并分层处理,形成多层次数据模型,完成面向应用的数据仓库与数据集市的建设。PetaBase大数据平台为其他平台提供数据接口,为上层应用提供数据基础。
挑战三:数据处理的可拓展性
由于PetaBase的数据存储在HDFS中,Hadoop生态中有多种多样的数据处理引擎,并能支持用户自定义函数的扩展(数据挖掘函数等)。项目中有用到多种数据挖掘的方法,比如通过箱线图的算法来排除异常性能数据,然后取正常性能数据升序排序后的90%位置的数据作为性能值的一个度量,并通过用户自定义的函数来实现。
现在申请试用亿信华辰数据软件,马上可获得:
领导驾驶舱、大屏分析等BI模板
多行业数字化转型解决方案
海量工具及行业应用学习视频