【DataX总结】

一、 ETL工具

概述

ETL工具是将数据从来源端经过抽取、转换、装载至目的端的过程。

主流ETL工具

1、DataPipeline
2、Kettle
3、Talend
4、Informatica
5、Datax
6、Oracle Goldengate
7、sqoop

二、Datax概述

DataX 是阿里巴巴开源的一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。

亮点一：异构数据源

DataX 设计

为了解决异构数据源同步问题，DataX将复杂的网状的同步链路变成了星型数据链路，DataX作为中间传输载体负责连接各种数据源。当需要接入一个新的数据源的时候，只需要将此数据源对接到DataX，便能跟已有的数据源做到无缝数据同步。

框架设计

1. Reader：数据采集模块，负责采集数据源的数据，将数据发送给Framework。
2. Writer：数据写入模块，负责不断向Framework取数据，并将数据写入到目的端。
3. Framework：用于连接reader和writer，作为两者的数据传输通道，并处理缓冲， 流控，并发，数据转换等核心技术问题。

简单来说，就是datax在数据库之间充当中介的角色，将各种数据类型先转换为datax内部的数据类型，再转换为目标数据库的数据类型，从而解决异构数据源的难题

亮点二：稳定高效

运行原理

1.Job：单个作业的管理节点，负责数据清理、子任务划分、TaskGroup监控管理。
2.Task：由Job切分而来，是DataX作业的最小单元，每个Task负责一部分数据的同步工作。
3.Schedule：将Task组成TaskGroup，单个TaskGroup的并发数量为5。
4.TaskGroup：负责启动Task。

简单来说就是把一个作业拆分成多个任务，让他们并发执行，从而保证其高效，但相对于sqoop基于mapreduce在多台机器分布式运行的方式，datax的效率还是相对较低的，因为datax只能在一台机器运行，但对于目前的大多数企业已经足够了

三、DataX的安装

安装

官方文档

下载地址：http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz
源码地址：https://github.com/alibaba/DataX
gitcode地址：https://gitcode.net/mirrors/alibaba/datax?utm_source=csdn_github_accelerator

环境要求
1.Linux
2.JDK(1.8以上，推荐1.8)
3.Python(推荐Python2.6.X)

下载
在linux执行

curl -LO http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz
或
wget http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz
安装
1、将datax解压到指定目录

tar -zxvf datax.tar.gz -C /opt/module/

2、运行自检脚本

cd /opt/module/datax/bin/
python datax.py /opt/module/datax/job/job.json

出现如下就代表安装成功

datax小坑1，报错如下

解决方式：将reader和writer目录下的 ._* 这类隐藏文件删除
rm -rf /opt/bigdata/hadoop/server/datax/plugin/*/._*

使用

写json文件

参考官方文档 https://github.com/alibaba/DataX

只需要参考官方文档的读写写出对应功能的json文件即可

示例 mysql_to_mysql.json：

{
    "job": {
        "setting": {
            "speed": {
                 "channel":1
            }
        },
        "content": [
            {
                "reader": {
                    "name": "mysqlreader",
                    "parameter": {
                        "username": "root",
                        "password": "root",
                        "connection": [
                            {
                                "querySql": [
                                    "select `id`, `name`, `email`, `phone`, `gender`, `password`, `age`, `create_time`, `update_time` from app_user"
                                ],
                                "jdbcUrl": [
                                    "jdbc:mysql://192.168.10.100:3306/test_bai?characterEncoding=utf8&useSSL=false&serverTimezone=UTC&rewriteBatchedStatements=true"
                                ]
                            }
                        ]
                    }
                },
                "writer": {
                    "name": "mysqlwriter",
                    "parameter": {
                        "writeMode": "insert",
                        "username": "root",
                        "password": "root",
                        "column": [
                            "id", "name", "email", "phone", "gender", "password", "age", "create_time", "update_time"
                        ],
                        "connection": [
                            {
                                "jdbcUrl": "jdbc:mysql://192.168.10.100:3306/datax?characterEncoding=utf8&useSSL=false&serverTimezone=UTC&rewriteBatchedStatements=true",
                                "table": [
                                    "app_user"
                                ]
                            }
                        ]
                    }
                }
            }
        ]
    }
}

任务提交

1.到达datax下的bin目录
cd /opt/module/datax/bin
2.执行datax命令
datax.py ../job/mysql_to_mysql.json

datax小坑2
datax源码默认的Mysql的jdbc驱动是5.X的，如果使用的是mysql8需要将源码下载下来
1.将驱动信息修改为8.X
找到位于 {DataX_source_code_home}/mysqlreader/ 和 {DataX_source_code_home}/mysqlwriter/ 下的 pom.xml文件，将version的值改为8.0.X（可以直接搜索‘mysql-connector-java’快速定位，X写你自己想要的 版本号）
2.修改zeroDateTimeBehavior的值convertToNull 为 CONVERT_TO_NULL：
编辑{DataX_source_code_home}/plugin-rdbms- util/src/main/java/com/alibaba/datax/plugin/rdbms/util/DataBaseType.java
全文替换 convertToNull 为 CONVERT_TO_NULL;
全文替换"com.mysql.jdbc.Driver"为"com.mysql.cj.jdbc.Driver"，
3.使用maven重新打包
mvn -U clean package assembly:assembly -Dmaven.test.skip=true
打好的包位于{DataX_source_code_home}/target/datax/datax/

传参

配置文件base_province.json，内容如下

{
    "job": {
        "content": [
            {
                "reader": {
                    "name": "mysqlreader",
                    "parameter": {
                        "connection": [
                            {
                                "jdbcUrl": [
                                    "jdbc:mysql://hadoop102:3306/gmall"
                                ],
                                "querySql": [
                                    "select id,name,region_id,area_code,iso_code,iso_3166_2 from base_province where id>=3"
                                ]
                            }
                        ],
                        "password": "000000",
                        "username": "root"
                    }
                },
                "writer": {
                    "name": "hdfswriter",
                    "parameter": {
                        "column": [
                            {
                                "name": "id",
                                "type": "bigint"
                            },
                            {
                                "name": "name",
                                "type": "string"
                            },
                            {
                                "name": "region_id",
                                "type": "string"
                            },
                            {
                                "name": "area_code",
                                "type": "string"
                            },
                            {
                                "name": "iso_code",
                                "type": "string"
                            },
                            {
                                "name": "iso_3166_2",
                                "type": "string"
                            }
                        ],
                        "compress": "gzip",
                        "defaultFS": "hdfs://hadoop102:8020",
                        "fieldDelimiter": "\t",
                        "fileName": "base_province",
                        "fileType": "text",
                        "path": "/base_province/${dt}",
                        "writeMode": "append"
                    }
                }
            }
        ],
        "setting": {
            "speed": {
                "channel": 1
            }
        }
    }
}

执行如下命令

[atguigu@hadoop102 datax]$ python bin/datax.py -p"-Ddt=2020-06-14" job/base_province.json