亿信ABI与ETL
为实现商务智能,将企业中的标准不统一、分散、零乱的数据整合到一起,为企业的决策提供分析依据。需使用ETL技术将数据进行清理,因此,ETL是BI项目的重要组成部分,其设计影响生成数据的质量,直接关系到BI项目的成败。
一、ETL工作原理
ETL即Extract-Transform-Load,是对数据进行抽取、转换、加载的过程。对于企业或行业应用,我们经常会遇到需要对各种数据进行处理的情况,因此,我们必须要了解ETL的工作原理,以便掌握使用ETL工具。
1、抽取:作为数据清理的第一个环节,需要根据企业需求,从各种数据源中抽取需要清理的数据。
2、转换:转换包括清洗、合并、拆分、处理等,主要目的是为了提高数据质量。
3、加载:提取转换后,将数据加载到目标数据库中。
二、为什么要使用ETL工具
在数据处理的时候,我们有时会遇到这些问题:使用SQL语句处理来自不同物理主机的数据时,成本高;不同类型数据源需要整理成统一格式,过程教繁琐;数据库中,使用存储过程处理海量数据时,会占用大量数据库资源,影响数据库性能等。而ETL工具可以解决上述问题的原因在于ETL工具具有以下几点优势:
1、支持多种异构数据源的连接。
2、图形化的界面操作十分方便。
3、处理海量数据速度快、流程更清晰。