但随着信息化建设的不断深入，由于业务系统之间各自为政、相互独立造成的数据孤岛”现象尤为普遍，业务不集成、流程不互通、数据不共享。这给企业进行数据的分析利用、报表开发、分析挖掘等带来了巨大困难。
在此情况下，为了实现企业全局数据的系统化运作管理（信息孤岛、数据统计、数据分析、数据挖掘） ，为DSS（决策支持系统）、BI（商务智能）、经营分析系统等深度开发应用奠定基础，挖掘数据价值 ，企业会开始着手建立数据仓库，数据中台。将相互分离的业务系统的数据源整合在一起，建立一个统一的数据采集、处理、存储、分发、共享中心。
什么是ETL？
ETL是将业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程，目的是将企业中的分散、零乱、标准不统一的数据整合到一起，为企业的决策提供分析依据。 ETL是BI项目重要的一个环节。 通常情况下，在BI项目中ETL会花掉整个项目至少1/3的时间,ETL设计的好坏直接关接到BI项目的成败。
ETL的设计分三部分：数据抽取、数据的清洗转换、数据的加载。
一、 数据的抽取（Extract）
1、确定数据源，需要确定从哪些源系统进行数据抽取
2、定义数据接口，对每个源文件及系统的每个字段进行详细说明
3、确定数据抽取的方法：主动抽取/源系统推送;增量抽取/全量抽取;每日抽取/每月抽取
二、数据的清洗转换（Cleaning、Transform）
数据清洗的任务是过滤那些不完整的、错误的、重复的数据，将过滤的结果交给业务主管部门，确认是否过滤掉还是由业务单位修正之后再进行抽取。
数据转换的任务主要进行不一致的数据转换、数据粒度的转换，以及一些商务规则的计算。
三、数据加载
将数据缓冲区的数据直接加载到数据库对应表中，如果是全量方式则采用LOAD方式，如果是增量则根据业务规则MERGE进数据库
ETL的调度
调度维护
1) 调度系统参数维护，对调度系统的公共参数：期数、进程数、数据日期、本期开始日期和本期结束日期进行设置和修改。
2) 下传文件信息维护，维护所有区域的下传文件名称、文件状态、文件数据日期和对应区域的归属关系。
3) 作业步定义与维护，定义作业对应的实际ETL处理过程，生成作业编号，定义作业类型和作业的驱动关系，作业的运行所需要的条件。
4) 调度异常处理，对调度过程中出现的异常情况进行处理，提供错误查找、出错重跑功能。
日志管理
1) 调度过程日志，管理记录调度中的主要过程和异常信息，如调度开始、调度完成、数据库操作异常和读写文件异常的日志。
2) Job执行日志，管理记录Job执行信息的日志，提供该日志的查询、删除和执行状态重置功能。
3) Job详细事件日志，管理记录Job执行中的详细事件（清洗记录条数、数据库具体操作情况）的日志，提供对日志的查询、删除操作。
作业调度
正常情况下的作业调度，对整个ETL过程进行调度，提供分段提交处理和自动提交处理功能。
