DataX部署及迁移操作说明

DataX安装部署

1、 DataX简介

DataX 是阿里巴巴开源的一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。

源码地址：https://github.com/alibaba/DataX

2、DataX架构原理

2.1 DataX设计理念

        为了解决异构数据源同步问题，DataX将复杂的网状的同步链路变成了星型数据链路，DataX作为中间传输载体负责连接各种数据源。当需要接入一个新的数据源的时候，只需要将此数据源对接到DataX，便能跟已有的数据源做到无缝数据同步。

2.2 DataX框架设计

        DataX本身作为离线数据同步框架，采用Framework + plugin架构构建。将数据源读取和写入抽象成为Reader/Writer插件，纳入到整个同步框架中。

2.3 DataX调度决策思路

        举例来说，用户提交了一个DataX作业，并且配置了总的并发度为20，目的是对一个有100张分表的mysql数据源进行同步。DataX的调度决策思路是：

1）DataX Job根据分库分表切分策略，将同步工作分成100个Task。

2）根据配置的总的并发度20，以及每个Task Group的并发度5，DataX计算共需要分配4个TaskGroup。

3）4个TaskGroup平分100个Task，每一个TaskGroup负责运行25个Task。

3、DataX部署

1）下载DataX安装包并上传到qianyi-ecs的/data

下载地址：https://github.com/alibaba/DataX/tree/master

2）解压datax.tar.gz到/data

[root@qianyi-ecs data]$ tar -zxvf datax_v202309.tar -C /data

3）自检，执行如下命令

[root@qianyi-ecs data]$ python /data/datax/bin/datax.py /data/datax/job/job.json

 出现如下内容，则表明安装成功

……

2021-10-12 21:51:12.335 [job-0] INFO  JobContainer -

任务启动时刻                    : 2021-10-12 21:51:02

任务结束时刻                    : 2021-10-12 21:51:12

任务总计耗时                    :                 10s

任务平均流量                    :          253.91KB/s

记录写入速度                    :          10000rec/s

读出记录总数                    :              100000

读写失败总数                    :                   0

4、DataX使用

4.1 DataX使用概述

4.1.1、 DataX任务提交命令

        DataX的使用十分简单，用户只需根据自己同步数据的数据源和目的地选择相应的Reader和Writer，并将Reader和Writer的信息配置在一个json文件中，然后执行如下命令提交数据同步任务即可。

[root@qianyi-ecs data]$ python bin/datax.py path/to/your/job.json

4.2.2、 DataX配置文件格式

可以使用如下命名查看DataX配置文件模板。

具体参见：

https://github.com/alibaba/DataX/blob/master/gaussdbreader/doc/gaussdbreader.md

DataX迁移GaussDB(DWS) —> PolarDB-O任务配置及提交

1. GaussDB(DWS) —> PolarDB-O任务配置

{

	"job": {

		"setting": {

			"speed": {

				"channel": 2

			},

			"errorLimit": {

				"record": 0,

				"percentage": 0.02

			}

		},

		"content": [{

			"reader": {

				"name": "gaussdbreader",

				"parameter": {

					"username": "alibaba",

					"password": "xxxxxxx",

					"column": [

						'*'

					],

					"connection": [{

						"table": [

							"float_type_t10"

						],

						"jdbcUrl": [

							"jdbc:opengauss://10.131.13.3:25308/alibaba"

						]

					}]

				}

			},

			"writer": {

				"name": "postgresqlwriter",

				"parameter": {

					"username": "admin1",

					"password": "xxxxxxxx",

					"column": [

						'*'

					],

					"connection": [{

						"jdbcUrl": "jdbc:postgresql://10.219.255.13:3433/datax",

						"table": [

							"float_type_t10"

						]

					}]

				}

			}

		}]

	}



}

1. 任务提交

python bin/datax.py GaussDb_To_PolarO/job.json_int

nohup python bin/datax.py GaussDb_To_PolarO/job.json_int > log/json_int.log 2>&1 &

nohup python bin/datax.py GaussDb_To_PolarO/job.json_int > log/json_int.log 2>&1 &