【ETL】ETL大数据集成工具Sqoop、dataX、Kettle、Canal、StreamSets大比拼
1. 摘要
对于数据仓库，大数据集成类应用，通常会采用ETL工具辅助完成。ETL，是英文 Extract-Transform-Load 的缩写，用来描述将数据从来源端经过抽取（extract）、交互转换（transform）、加载（load）至目的端的过程。当前的很多应用也存在大量的ELT应用模式。常见的ETL工具或类ETL的数据集成同步工具很多，以下对开源的Sqoop、dataX、Kettle、Canal、StreamSetst进行简单梳理比较。
通过分析，笔者个人建议优先DataX更优。
2. 内容
2.1 Sqoop
2.1.1 介绍
Sqoop，SQL-to-Hadoop 即 “SQL到Hadoop和Hadoop到SQL”。 是Apache开源的一款在Hadoop和关系数据库服务器之间传输数据的工具。主要用于在Hadoop与关系型数据库之间进行数据转移，可以将一个关系型数据库（MySQL ,Oracle等）中的数据导入到Hadoop的HDFS中，也可以将HDFS的数据导出到关系型数据库中。 sqoop命令的本质是转化为MapReduce程序。sqoop分为导入（import）和导出（export），策略分为table和query，模式分为增量和全量。
image.png
命令简单示例：
image.png
Sqoop支持全量数据导入和增量数据导入（增量数据导入分两种，一是基于递增列的增量数据导入（Append方式）。二是基于时间列的增量数据导入（LastModified方式）），同时可以指定数据是否以并发形式导入。
2.1.2 特点
1、可以将关系型数据库中的数据导入hdfs、hive或者hbase等hadoop组件中，也可将hadoop组件中的数据导入到关系型数据库中；
2、sqoop在导入导出数据时，充分采用了map-reduce计算框架，根据输入条件生成一个map-reduce作业，在hadoop集群中运行。采用map-reduce框架同时在多个节点进行import或者export操作，速度比单节点运行多个并行导入导出效率高，同时提供了良好的并发性和容错性；
3、支持insert、update模式，可以选择参数，若内容存在就更新，若不存在就插入；
4、对国外的主流关系型数据库支持性更好。
2.2.3 Github
https://github.com/apache/sqoop
2.2 dataX
2.2.1 介绍
DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源之间高效的数据同步功能。
github地址：https://github.com/alibaba/DataX
支持数据源：
image.png
DataX本身作为离线数据同步框架，采用Framework + plugin架构构建。将数据源读取和写入抽象成为Reader+Writer插件，纳入到整个同步框架中。
目前已到datax3.0框架设计：
image.png
datax使用示例，核心就是编写json配置文件job：
image.png
DataX框架内部通过双缓冲队列、线程池封装等技术,集中处理了高速数据交换遇到的问题,提供简单的接口与插件交互,插件分为Reader和Writer两类,基于框架提供的插件接口,可以十分便捷的开发出需要的插件。缺乏对增量更新的内置支持，因为DataX的灵活架构，可以通过shell脚本等方式方便实现增量同步。
2.2.2 特点
1、异构数据库和文件系统之间的数据交换；
2、采用Framework + plugin架构构建，Framework处理了缓冲，流控，并发，上下文加载等高速数据交换的大部分技术问题，提供了简单的接口与插件交互，插件仅需实现对数据处理系统的访问；
3、数据传输过程在单进程内完成，全内存操作，不读写磁盘，也没有IPC；
4、开放式的框架，开发者可以在极短的时间开发一个新插件以快速支持新的数据库/文件系统。
2.2.3 Github
https://github.com/alibaba/DataX
2.3 Kettle
2.3.1 介绍
Kettle，中文名：水壶，是一款国外免费开源的、可视化的、功能强大的ETL工具，纯java编写，可以在Windows、Linux、Unix上运行，数据抽取高效稳定。
Kettle家族目前包括4个产品：Spoon、Pan、CHEF、Kitchen。
组成部分：
Spoon：允许使用图形化界面实现ETL数据转换过程
Pan：批量运行Spoon数据转换过程
Chef：job（有状态，可以监控到是否执行、执行的速度等）
Kitchen：批量运行chef
2.3.2 特点
- 免费开源：基于Java免费开源软件
- 易配置：可跨平台，绿色无需安装
- 不同数据库：ETL工具集，可管理不同数据库的数据
- 两种脚本文件：transformation和job，transformation完成针对数据的基础转换，job则完成整个工作流的控制
- 图形界面设计：托拉拽，无需写代码
- 定时功能：在Job下的start模块，有一个定时功能，可以每日，每周等方式进行定时
2.3.3 Github
https://github.com/pentaho/pentaho-kettle/
2.4 Canal
2.4.1 介绍
canal是阿里巴巴旗下的一款开源项目，纯Java开发。基于数据库增量日志解析，提供增量数据实时订阅和消费，目前主要支持了MySQL，也支持mariaDB。
很多大型的互联网项目生产环境中使用，包括阿里、美团等都有广泛的应用，是一个非常成熟的数据库同步方案，基础的使用只需要进行简单的配置即可。
当前的 canal 支持源端 MySQL 版本包括 5.1.x , 5.5.x , 5.6.x , 5.7.x , 8.0.x。
image.png
canal的工作原理就是把自己伪装成MySQL slave，模拟MySQL slave的交互协议向MySQL Mater发送 dump协议，MySQL mater收到canal发送过来的dump请求，开始推送binary log给canal，然后canal解析binary log，再发送到存储目的地，比如MySQL，Kafka，Elastic Search等等。
与其问canal能做什么，不如说数据同步有什么作用。
但是canal的数据同步不是全量的，而是增量。基于binary log增量订阅和消费，canal可以做：
- 数据库镜像
- 数据库实时备份
- 索引构建和实时维护
- 业务cache(缓存)刷新
- 带业务逻辑的增量数据处理
2.4.2 特点
canal是通过模拟成为mysql 的slave的方式，监听mysql 的binlog日志来获取数据，binlog设置为row模式以后，不仅能获取到执行的每一个增删改的脚本，同时还能获取到修改前和修改后的数据，基于这个特性，canal就能高性能的获取到mysql数据数据的变更。
2.4.3 Github
github地址：https://github.com/alibaba/canal
2.5 StreamSets
2.5.1 介绍
Streamsets是一个大数据实时采集ETL工具，可以实现不写一行代码完成数据的采集和流转。通过拖拽式的可视化界面，实现数据管道(Pipelines)的设计和定时任务调度。
数据源支持MySQL、Oracle等结构化和半/非结构化，目标源支持HDFS、Hive、Hbase、Kudu、Solr、Elasticserach等。创建一个Pipelines管道需要配置数据源(Origins)、操作(Processors)、目的地(Destinations)三部分。
image.png
image.png
2.5.2 特点
Streamsets的强大之处：
- 拖拽式可视化界面操作，No coding required 可实现不写一行代码
- 强大整合力，100+ Ready-to-Use Origins and Destinations，支持100+数据源和目标源
- 可视化内置调度监控，实时观测数据流和数据质量
2.5.3 Github
地址：https://github.com/streamsets/
2.6 Sqoop和Datax的区别
2.6.1 特点对比
1、sqoop采用map-reduce计算框架进行导入导出，而datax仅仅在运行datax的单台机器上进行数据的抽取和加载，速度比sqoop慢了许多；
2、sqoop只可以在关系型数据库和hadoop组件之间进行数据迁移，而在hadoop相关组件之间，比如hive和hbase之间就无法使用。sqoop互相导入导出数据，同时在关系型数据库之间，比如mysql和oracle之间也无法通过sqoop导入导出数据。
与之相反，datax能够分别实现关系型数据库hadoop组件之间、关系型数据库之间、hadoop组件之间的数据迁移；
3、sqoop是专门为hadoop而生，对hadoop支持度好，而datax可能会出现不支持高版本hadoop的现象；
4、sqoop只支持官方提供的指定几种关系型数据库和hadoop组件之间的数据交换，而在datax中，用户只需根据自身需求修改文件，生成相应rpm包，自行安装之后就可以使用自己定制的插件；
2.6.2 性能对比
1、mysql->hdfs
在mysql中生成50,000,000条数据，将这些数据分别使用datax和sqoop导入到hdfs中，分别比较它们的性能参数：
在mysql中生成50,000,000条数据，将这些数据分别使用datax和sqoop导入到hdfs中，分别比较它们的性能参数：
sqoop:
| 属性 | 值 |
|---|---|
| CPU时间(ms) | 325500 |
| 读取物理内存快照大小(byte) | 3045625856 |
| 读取虚拟内存快照大小(byte) | 10975498240 |
| 平均速率(MB/s) | 20.0809 |
| 总时间(s) | 99.2047 |
5.DataX性能对比 - 图1
datax:
| 属性 | 值 |
|---|---|
| CPU平均占用率(%) | 21.99 |
| 平均速率(MB/s) | 4.95 |
| 总时间(s) | 202 |
image.png
2、oracle->hdfs
在oracle中生成50,000,000条数据，将这些数据分别使用datax和sqoop导入到hdfs中，分别比较它们的性能参数：
sqoop：
| 属性 | 值 |
|---|---|
| CPU时间 | 86510毫秒 |
| 读取物理内存快照大小 | 2865557504 |
| 读取虚拟内存快照大小 | 10937077760 |
| 平均速率 | 6.4137MB/s |
| 总时间 | 94.9979s |
image.png
datax:
| 属性 | 值 |
|---|---|
| CPU平均占用率 | 15.50% |
| 平均速率 | 5.14MB/s |
| 总时间 | 122s |
image.png
2.6.3 与TDH的兼容性
1、与TDH中的hadoop版本兼容，能够将关系型数据库中数据导入TDH中的hdfs中；
2、datax拥有一个sqoop没有的功能，就是将数据从hdfs导入到hbase，但是该功能目前仅仅支持的hbase版本为：0.94.x和1.1.x两个。而TDH中hyperbase的hbase版本为0.98.6，所以也不支持TDH的Hyperbase。
2.7 Datax和Kettle的对比
| 比较维度 | 产品 | Kettle | DataX |
|---|---|---|---|
| 设计及架构 | 适用场景 | 面向数据仓库建模传统ETL工具 | 面向数据仓库建模传统ETL工具 |
| 支持数据源 | 多数关系型数据库 | 少数关系型数据库和大数据非关系型数据库 | |
| 开发语言 | Java | Python、Java | |
| 可视化web界面 | KettleOnline代码收费Kettle-manager代码免费 | Data-Web代码免费 | |
| 底层架构 | 主从结构非高可用，扩展性差，架构容错性低，不适用大数据场景 | 支持单机部署和集群部署两种方式 | |
| 功能 | CDC机 | 基于时间戳、触发器等 | 离线批处理 |
| 抽取策略 | 支持增量，全量抽取 | 支持全量抽取。不支持增量抽取要通过shell脚本自己实现 | |
| 对数据库的影响 | 对数据库表结构有要求，存在一定侵入性 | 通过sql select 采集数据，对数据源没有侵入性 | |
| 自动断点续传 | 不支持 | 不支持 | |
| 数据清洗 | 围绕数据仓库的数据需求进行建模计算，清洗功能相对复杂，需要手动编程 | 需要根据自身清晰规则编写清洗脚本，进行调用（DataX3.0 提供的功能）。 | |
| 数据转换 | 手动配置schema mapping | 通过编写json脚本进行schema mapping映射 | |
| 特性 | 数据实时性 | 非实时 | 定时 |
| 应用难度 | 高 | 高 | |
| 是否需要开发 | 是 | 是 | |
| 易用性 | 低 | 低 | |
| 稳定性 | 低 | 中 | |
| 抽取速度 | 小数据量的情况下差别不大，大数据量时datax比kettle快。 | datax对于数据库压力比较小 | |
| 其他 | 实施及售后服务 | 开源软件，社区活跃度高 | 阿里开源代码，社区活跃度低 |
3. 参考
（4）数据同步之道（Sqoop、dataX、Kettle、Canal、StreamSets） https://www.modb.pro/db/86290
（1）数据抽取工具比对：Kettle、Datax、Sqoop、StreamSets https://blog.csdn.net/xiaozm1223/article/details/89670460
（2）ETL学习总结（2）——ETL数据集成工具之kettle、sqoop、datax、streamSets 比较 https://zhanghaiyang.blog.csdn.net/article/details/104446610
（3）数据集成工具Kettle、Sqoop、DataX的比较 https://www.cnblogs.com/bayu/articles/13335917.html
（5）Datax与Sqoop的对比 https://blog.csdn.net/lzhcoder/article/details/107902791
（6）Datax和Kettle的对比 https://blog.csdn.net/lzhcoder/article/details/120830522
（7）超详细的Canal入门，看这篇就够了！ https://blog.csdn.net/yehongzhi1994/article/details/107880162
如有侵权，请联系本人
删除。