基于两种架构的ETL实现及ETL工具选型策略

       企业信息化建设过程中，业务系统各自为政、相互独立造成的“数据孤岛”现象尤为普遍，业务不集成、流程不互通、数据不共享……。这给企业进行数据的分析利用、报表开发等带来了巨大困难。在此情况下，数据仓库的建设就显得必不可少了，将相互分离的业务系统的数据源整合在一起，建立一个统一的数据采集、处理、存储、分发、共享中心，实现企业全局数据的系统化运作管理，为DSS（决策支持系统）、BI（商务智能）、经营分析系统等深度开发应用奠定基础，挖掘数据价值。

       在企业搭建数据仓库的过程中，有一个核心环节——ETL。如果说数据仓库是一座大楼，那么ETL就是大楼的地基。ETL是Extract（抽取）-Transform（转换）-Load（加载） 的缩写，负责将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集市中，成为联机分析处理、数据挖掘的基础。ETL设计和实施的工作量一般要占数据仓库总工作量的60%以上，数据仓库建成后的日常运维的好坏也严重依赖ETL的设计使用，所以说ETL是整个数据仓库的生命线，ETL工具的选择对于整个数据仓库项目的成功是非常重要的。

       ETL工具目前有两种技术架构——ETL架构和ELT架构，咋一看这两种架构好像没什么不同之处，那么二者之间到底有什么区别呢？

     （1）ETL架构

       ETL架构按其字面含义理解就是按照E——T——L这个顺序流程进行处理的架构：先抽取、然后转换、完成后加载到目标数据库中。在ETL架构中，数据的流向是从源数据流到ETL工具，ETL工具是一个单独的数据处理引擎，一般会在单独的硬件服务器上，实现所有数据转化的工作，然后将数据加载到目标数据仓库中。如果要增加整个ETL过程的效率，则只能增强ETL工具服务器的配置，优化系统处理流程（一般可调的东西非常少）。

ETL架构的实现机制

       ETL架构的优势：

1. ETL可以分担数据库系统的负载（采用单独的硬件服务器）
2. ETL相对于ELT架构可以实现更为复杂的数据转化逻辑
3. ETL采用单独的硬件服务器。.
4. ETL与底层的数据库数据存储无关。

    （2）ELT架构

       ELT架构则把“L”这一步工作提前到“T”之前来完成：先抽取、然后加载到目标数据库中、在目标数据库中完成转换操作。在ELT架构中，ELT只负责提供图形化的界面来设计业务规则，数据的整个加工过程都在目标和源的数据库之间流动，ELT协调相关的数据库系统来执行相关的应用，数据加工过程既可以在源数据库端执行，也可以在目标数据仓库端执行（主要取决于系统的架构设计和数据属性）。当ETL过程需要提高效率，则可以通过对相关数据库进行调优，或者改变执行加工的服务器就可以达到。

ETL架构的实现机制

       ELT架构的优势：

1. ELT充分利用数据库引擎来实现系统的可扩展性（尤其是当数据加工过程在晚上时，可以充分利用数据库引擎的资源）
2. ELT可以保持所有的数据始终在数据库当中，避免数据的加载和导出，从而保证效率，提高系统的可监控性。
3. ELT可以根据数据的分布情况进行并行处理优化，并可以利用数据库的固有功能优化磁盘I/O。
4. 通过对相关数据库进行性能调优，ELT过程获得3到4倍的效率提升比较容易。

       ETL工具的典型代表有：Informatica、powercenter、IBM Datastage、PDI（Kettle）、Talend等。ELT工具的典型代表有：Teradata ETL Automation，Oracle ODI等。对于数据量较大的处理计算，比如采用了mpp数据库的架构，建议选择ELT工具，利用数据库的强大计算能力处理复杂运算，不要让ETL工具成了计算的瓶颈。

       个人建议在资金可以的情况下尽量采用商用数据平台来开发，就易用性来说做的相当好，而且还有服务支持，这里推荐一个国内厂商的ELT工具昊合数据整合平台HaoheDI，简单易上手，会SQL就会用，运维也很方便。

转载于:https://www.cnblogs.com/haohe/p/7048966.html