使用Apache SeaTunnel进行数据库同步(SQL server to MySQL)

  1. 部署
    1. 1下载解压

下载地址:Apache Download Mirrors

下载完毕之后上传到服务器上面并解压

# 解压到了/opt/目录下

tar -zxvf apache-seatunnel-2.3.2-bin.tar.gz

使用Apache SeaTunnel进行数据库同步(SQL server to MySQL)_第1张图片

    1. 2安装连接器插件

1.2.1.进入安装根目录,执行

sh bin/install-plugin.sh

默认会安装所有插件

通常我们并不需要所有的插件,这时我们可以修改config/plugin_config文件,例如我们只需要connector-console插件,我们修改为:

--connectors-v2--

connector-cdc-mysql

connector-cdc-sqlserver

connector-jdbc

--end--

1.2.2.添加MySQL驱动

下载地址:

https://repo1.maven.org/maven2/mysql/mysql-connector-java/8.0.30/mysql-connector-java-8.0.30.jar

mysql-connector-java-8.0.30.jar放到$SEATUNNEL_HOME/lib/目录中

使用Apache SeaTunnel进行数据库同步(SQL server to MySQL)_第2张图片

1.2.3.配置checkpoint存储

cd config
vim seatunnel.yaml

1.2.4.配置MySQL CDC

cd config

cp v2.streaming.conf.template test.config

vim test.config

具体格式参考:

SqlServer CDC | Apache SeaTunnelc

参考其中的

使用Apache SeaTunnel进行数据库同步(SQL server to MySQL)_第3张图片

source和sink中对应的写法,用到什么就改什么,原则上来说不光是SQL server到MySQL,只要是其中支持的数据库都可以做数据同步。

  1. 3运行SeaTunnel应用

cd "apache-seatunnel-${version}"

./bin/seatunnel.sh --config ./config/test.config -e local

正常执行数据同步SQL server到MySQL,200000条数据,支持增删改查

使用Apache SeaTunnel进行数据库同步(SQL server to MySQL)_第4张图片

你可能感兴趣的:(成长日记,数据库,apache,mysql)