单机物理机部署Datax

一、概述

1. DataX 是阿里巴巴开源的一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。
   源码地址：https://github.com/alibaba/DataX

2. 为了解决异构数据源同步问题，DataX将复杂的网状的同步链路变成了星型数据链路，DataX作为中间传输载体负责连接各种数据源。当需要接入一个新的数据源的时候，只需要将此数据源对接到DataX，便能跟已有的数据源做到无缝数据同步。
   
   架构设计：
   
   运行流程：
   
   和sqoop对比
   

3.DataX部署
上传文件、解压缩、启动

注意：如果遇到上面的报错，如下解决：

#reader的删除项
rm -rf ._hdfsreader 
rm -rf ._otsstreamreader 
rm -rf ._otsreader 
rm -rf ._txtfilereader 
rm -rf ._ftpreader 
rm -rf ._streamreader 
rm -rf ._odpsreader 
rm -rf ._cassandrareader 
rm -rf ._hbase11xreader 
rm -rf ._oraclereader 
rm -rf ._postgresqlreader 
rm -rf ._mysqlreader 
rm -rf ._rdbmsreader 
rm -rf ._mongodbreader 
rm -rf ._ossreader 
rm -rf ._sqlserverreader 
rm -rf ._hbase094xreader
rm -rf ._drdsreader 
#writer的删除项
rm -rf ._hbase11xsqlwriter
rm -rf ._ocswriter 
rm -rf ._adswriter 
rm -rf ._drdswriter
rm -rf ._hbase11xwriter 
rm -rf ._hbase094xwriter 
rm -rf ._sqlserverwriter 
rm -rf ._osswriter 
rm -rf ._mongodbwriter 
rm -rf ._rdbmswriter 
rm -rf ._mysqlwriter 
rm -rf ._postgresqlwriter 
rm -rf ._oraclewriter 
rm -rf ._cassandrawriter 
rm -rf ._odpswriter 
rm -rf ._streamwriter 
rm -rf ._ftpwriter 
rm -rf ._txtfilewriter 
rm -rf ._otswriter 
rm -rf ._hdfswriter