一文带你学会ETL工具-datax的简单使用
什么是ETL？
ETL负责将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集市中，成为联机分析处理、数据挖掘的基础。、
ETL是数据仓库中的非常重要的一环。它是承前启后的必要的一步。相对于关系数据库，数据仓库技术没有严格的数学理论基础，它更面向实际工程应用。所以从工程应用的角度来考虑，按着物理数据模型的要求加载数据并对数据进行一些系列处理，处理过程与经验直接相关，同时这部分的工作直接关系数据仓库中数据的质量，从而影响到联机分析处理和数据挖掘的结果的质量。
什么是DATAX？
DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源之间高效的数据同步功能。
datax相关地址：https://github.com/alibaba/DataX
DataX 是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。
datax框架设计原理：
DataX本身作为离线数据同步框架，采用Framework + plugin架构构建。将数据源读取和写入抽象成为Reader/Writer插件，纳入到整个同步框架中。
- Reader：Reader为数据采集模块，负责采集数据源的数据，将数据发送给Framework。
- Writer： Writer为数据写入模块，负责不断向Framework取数据，并将数据写入到目的端。
- Framework：Framework用于连接reader和writer，作为两者的数据传输通道，并处理缓冲，流控，并发，数据转换等核心技术问题。
核心模块介绍：
DataX完成单个数据同步的作业，我们称之为Job，DataX接受到一个Job之后，将启动一个进程来完成整个作业同步过程。DataX Job模块是单个作业的中枢管理节点，承担了数据清理、子任务切分(将单一作业计算转化为多个子Task)、TaskGroup管理等功能。
DataXJob启动后，会根据不同的源端切分策略，将Job切分成多个小的Task(子任务)，以便于并发执行。Task便是DataX作业的最小单元，每一个Task都会负责一部分数据的同步工作。
切分多个Task之后，DataX Job会调用Scheduler模块，根据配置的并发数据量，将拆分成的Task重新组合，组装成TaskGroup(任务组)。每一个TaskGroup负责以一定的并发运行完毕分配好的所有Task，默认单个任务组的并发数量为5。
每一个Task都由TaskGroup负责启动，Task启动后，会固定启动Reader—>Channel—>Writer的线程来完成任务同步工作。
DataX作业运行起来之后， Job监控并等待多个TaskGroup模块任务完成，等待所有TaskGroup任务完成后Job成功退出。否则，异常退出，进程退出值非0。
job的解读：
{
"job": {
"content": [
{
"reader": { //读入库配置，比如说是sql server
"name": "", //数据源名称，别瞎写
"parameter": {} //数据库配置信息
},
"writer": { //写入库配置，比如说是mysql
"name": "", //数据源名称，别瞎写
"parameter": {} //数据库配置信息
}
}
],
"setting": { //基本设置
"speed": { //流量控制
"channel": 1, //同步时候的并发数
"byte": 104857600 //同步时候的字节大小，影响速度
},
"errorLimit": { //脏数据控制
"record": 10, //脏数据最大记录数阈值
"percentage": 0.05 //脏数据占比阈值
}
}
}
简单示例：
{
"job": {
"content": [
{
"reader": {
"name": "mysqlreader",
"parameter": {
"password": "gswzdp!1234",
"username": "gswzdp",
"connection": [{
"querySql": [
"select SUBSTR(m.MATNR,10) MATNR,k.MAKTX,m.WERKS,m.LGORT STORAGE_LOCATION,
t.LGOBE STORAGE_LOCATION_DESC,m.charg BATCH,m.clabs MENGE,a.MEINS UNIT,
m.ERSDA WAREHOUS_TIME
from mchb m
join mara a on a.MATNR = m.matnr
join makt k on k.MATNR = m.matnr
join t001l t on t.LGORT = m.lgort
where m.lgort REGEXP '97' and m.clabs > 0 limit 1"
],
"jdbcUrl": ["jdbc:mysql://10.213.111.102:23306/gsepclastmile?useUnicode=true&characterEncoding=utf8&yearIsDateType=false&zeroDateTimeBehavior=convertToNull&tinyInt1isBit=false&rewriteBatchedStatements=true"]
}
]
}
},
"writer": {
"name": "mysqlwriter",
"parameter": {
"writeMode": "insert",
"column": ["MATNR","MAKTX","WERKS","STORAGE_LOCATION","STORAGE_LOCATION_DESC","BATCH",
"SUPPLIER","SUPPLIER_DESC","MENGE","UNIT","WAREHOUS_TIME"],
"preSql": [
"TRUNCATE TABLE DWD_MAT_MARA"
],
"connection": [
{
"jdbcUrl": "jdbc:mysql://10.212.31.83:13306/imap?useUnicode=true&characterEncoding=utf8",
"table": ["DWD_MAT_MARA"]
}
],
"password": "Wzzhygl@1234",
"username": "root",
}
}
}
],
"setting": {
"speed": {
"channel": 1
}
}
}
}
定时任务的创建：
创建一个名为testdatax的crontab文件，命令行进入到相应的目录 vi testdatax，创建并打开文件，输入以下内容：
0 3 * * * python /usr/datax/datax3/bin/datax.py /home/admin/oracle2oracle.json >>/home/hanfa.shf/log.date +\%Y\%m\%d\%H\%M\%S 2>&1
0 3 * * *表示每天的3点执行这个任务。
python /usr/datax/datax3/bin/datax.py表示安装的DataX datax.py所在的目录的绝对路径，一般在datax/bin/目录下。
/usr/datax/mysqk.json.json表示作业配置文件的绝对路径
/usr/test.shf/log.date +\%Y\%m\%d\%H\%M\%S表示任务运行时产生日志的输出路径，并以log.当前时间命名，要替换成真实存在的绝对路径。
文件编辑完成之后，按esc，再按shift+;，再输入wq，则保存并退出文件编辑。
启动命令：
命令说明：
-
启动服务
/sbin/service crond start -
关闭服务
/sbin/service crond stop -
重启服务
/sbin/service crond restart -
重新载入配置
/sbin/service crond reload
END
最后总结一下，其实看了上文的介绍以及使用，可以发现，datax的实现思路就是一个定时任务，定时的从A库读取数据同步到B库去，和我们常见的读写分离如出一辙；做一个定时任务，然后配置两个数据源，定时的从A数据源读取到B数据源中的一个流程，感兴趣的小伙伴可以自己动手搭建一个简单地datax，当然常用你给的ELT工具并不止datax一个，也可使用Kettle这个工具进行数据同步。
