datax使用笔记

文章目录

    • 下载
      • 网上下载
      • 网盘下载
      • github拿源码自己打包(适合爱折腾的人)
    • 使用说明
    • 配置文件
      • 参数说明
      • oracle例子
      • mysql例子
    • 其他
      • reader为什么没有table标签

项目要数据迁移,毫无疑问,果断datax。

下载

方式多种多样,爱用哪种用哪种。

网上下载

自己从网上找也可以,这个链接实测也可用。
http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz

网盘下载

网上能找到,但是麻烦,干脆分享个。
链接:https://pan.baidu.com/s/1QpCEvAgD4DCBtDz-rRzPog
提取码:73kz

github拿源码自己打包(适合爱折腾的人)

标准地址访问不通,因为github不让访问,
https://github.com/alibaba/DataX # 这个地址无法直接访问
打开cmd窗口:

ping github.com  # 结果 20.205.243.166

http://20.205.243.166/alibaba/DataX # 这样就能打开了
但是这个地址,git clone下载不下来,还是和封了有关。但是可以直接下载zip包,里面有代码和doc,也是很有用的。

注: 这里不但有源码,还有各种使用说明。

如何看文档?
git下载的zip,最外层有使用说明,每个模块doc文件夹下也有文档,比较方便的。

使用说明

datax机制,说来也简单,就是一个reader一个writer,reader读数据,writer写数据。

配置文件

参数说明

整体结构不用管,一般只要替换content里面的内容即可。
如:数据库url、账号密码、sql语句等。

oracle例子

{
    "job": {
        "setting": {
            "speed": {
                 "channel": 3,
                 "byte": 1048576
            },
                "errorLimit": {
                "record": 0,
                "percentage": 0.02
            }
        },
        "content": [
            {
                "reader": {
                    "name": "oraclereader",
                    "parameter": {
                        "username": "admin",
                        "password": "admin",
                        "where": "",
                        "connection": [
                            {
                                "querySql": [
                                    "select  ID,USER_NAME T_USER where rownum<5"
                                ],
                                "jdbcUrl": ["jdbc:oracle:thin:@192.168.0.1:1521:TEST1"]
                            }
                        ]
                    }
                },
              "writer": {
                    "name": "oraclewriter",
                    "parameter": {
                        "username": "admin",
                        "password": "admin",
                        "column":["ID","USER_NAME"],
                        "connection": [
                            {
                                "jdbcUrl": "jdbc:oracle:thin:@192.168.0.1:1521:TEST1",
                                "table": ["T_USER2"]
                            }
                        ]
                    }
                }
            }
        ]
    }
}

mysql例子

其他

reader为什么没有table标签

实际一般用不到,因为sql中已经指定了从哪个表拿数据,所以writer才需要table。

你可能感兴趣的:(笔记)