ETL负责将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成,最后加载到数据仓库或数据集市中,成为联机分析处理、数据挖掘的基础。、
ETL是数据仓库中的非常重要的一环。它是承前启后的必要的一步。相对于关系数据库,数据仓库技术没有严格的数学理论基础,它更面向实际工程应用。所以从工程应用的角度来考虑,按着物理数据模型的要求加载数据并对数据进行一些系列处理,处理过程与经验直接相关,同时这部分的工作直接关系数据仓库中数据的质量,从而影响到联机分析处理和数据挖掘的结果的质量。
DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源之间高效的数据同步功能。
datax相关地址:https://github.com/alibaba/DataX
DataX 是一个异构数据源离线同步工具,致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。
datax框架设计原理:
DataX本身作为离线数据同步框架,采用Framework + plugin架构构建。将数据源读取和写入抽象成为Reader/Writer插件,纳入到整个同步框架中。
核心模块介绍:
DataX完成单个数据同步的作业,我们称之为Job,DataX接受到一个Job之后,将启动一个进程来完成整个作业同步过程。DataX Job模块是单个作业的中枢管理节点,承担了数据清理、子任务切分(将单一作业计算转化为多个子Task)、TaskGroup管理等功能。
DataXJob启动后,会根据不同的源端切分策略,将Job切分成多个小的Task(子任务),以便于并发执行。Task便是DataX作业的最小单元,每一个Task都会负责一部分数据的同步工作。
切分多个Task之后,DataX Job会调用Scheduler模块,根据配置的并发数据量,将拆分成的Task重新组合,组装成TaskGroup(任务组)。每一个TaskGroup负责以一定的并发运行完毕分配好的所有Task,默认单个任务组的并发数量为5。
每一个Task都由TaskGroup负责启动,Task启动后,会固定启动Reader—>Channel—>Writer的线程来完成任务同步工作。
DataX作业运行起来之后, Job监控并等待多个TaskGroup模块任务完成,等待所有TaskGroup任务完成后Job成功退出。否则,异常退出,进程退出值非0。
{
"job": {
"content": [
{
"reader": { //读入库配置,比如说是sql server
"name": "", //数据源名称,别瞎写
"parameter": {} //数据库配置信息
},
"writer": { //写入库配置,比如说是mysql
"name": "", //数据源名称,别瞎写
"parameter": {} //数据库配置信息
}
}
],
"setting": { //基本设置
"speed": { //流量控制
"channel": 1, //同步时候的并发数
"byte": 104857600 //同步时候的字节大小,影响速度
},
"errorLimit": { //脏数据控制
"record": 10, //脏数据最大记录数阈值
"percentage": 0.05 //脏数据占比阈值
}
}
}
{
"job": {
"content": [
{
"reader": {
"name": "mysqlreader",
"parameter": {
"password": "gswzdp!1234",
"username": "gswzdp",
"connection": [{
"querySql": [
"select SUBSTR(m.MATNR,10) MATNR,k.MAKTX,m.WERKS,m.LGORT STORAGE_LOCATION,
t.LGOBE STORAGE_LOCATION_DESC,m.charg BATCH,m.clabs MENGE,a.MEINS UNIT,
m.ERSDA WAREHOUS_TIME
from mchb m
join mara a on a.MATNR = m.matnr
join makt k on k.MATNR = m.matnr
join t001l t on t.LGORT = m.lgort
where m.lgort REGEXP '97' and m.clabs > 0 limit 1"
],
"jdbcUrl": ["jdbc:mysql://10.213.111.102:23306/gsepclastmile?useUnicode=true&characterEncoding=utf8&yearIsDateType=false&zeroDateTimeBehavior=convertToNull&tinyInt1isBit=false&rewriteBatchedStatements=true"]
}
]
}
},
"writer": {
"name": "mysqlwriter",
"parameter": {
"writeMode": "insert",
"column": ["MATNR","MAKTX","WERKS","STORAGE_LOCATION","STORAGE_LOCATION_DESC","BATCH",
"SUPPLIER","SUPPLIER_DESC","MENGE","UNIT","WAREHOUS_TIME"],
"preSql": [
"TRUNCATE TABLE DWD_MAT_MARA"
],
"connection": [
{
"jdbcUrl": "jdbc:mysql://10.212.31.83:13306/imap?useUnicode=true&characterEncoding=utf8",
"table": ["DWD_MAT_MARA"]
}
],
"password": "Wzzhygl@1234",
"username": "root",
}
}
}
],
"setting": {
"speed": {
"channel": 1
}
}
}
}
创建一个名为testdatax的crontab文件,命令行进入到相应的目录 vi testdatax,创建并打开文件,输入以下内容:
0 3 * * * python /usr/datax/datax3/bin/datax.py /home/admin/oracle2oracle.json >>/home/hanfa.shf/log.date +\%Y\%m\%d\%H\%M\%S
2>&1
0 3 * * *表示每天的3点执行这个任务。
python /usr/datax/datax3/bin/datax.py表示安装的DataX datax.py所在的目录的绝对路径,一般在datax/bin/目录下。
/usr/datax/mysqk.json.json表示作业配置文件的绝对路径
/usr/test.shf/log.date +\%Y\%m\%d\%H\%M\%S
表示任务运行时产生日志的输出路径,并以log.当前时间命名,要替换成真实存在的绝对路径。
文件编辑完成之后,按esc,再按shift+;,再输入wq,则保存并退出文件编辑。
命令说明:
启动服务
/sbin/service crond start
关闭服务
/sbin/service crond stop
重启服务
/sbin/service crond restart
重新载入配置
/sbin/service crond reload
最后总结一下,其实看了上文的介绍以及使用,可以发现,datax的实现思路就是一个定时任务,定时的从A库读取数据同步到B库去,和我们常见的读写分离如出一辙;做一个定时任务,然后配置两个数据源,定时的从A数据源读取到B数据源中的一个流程,感兴趣的小伙伴可以自己动手搭建一个简单地datax,当然常用你给的ELT工具并不止datax一个,也可使用Kettle这个工具进行数据同步。