使用tunnel同步PG数据到kafka

tunnel同步PG数据到kafka

来自哈罗单车开源的组件。支持同步PG数据到kafka或者ES。

 

https://github.com/hellobike/tunnel

 

tunnel整体的部署比较简单的

需要事先部署好zk和kafka（我下面演示的是单节点的zk和kafka）

 

节点部署关系：

192.168.2.4   部署zk、kafka、pg10运行在1921端口

192.168.2.189 部署tunnel

 

 

确保已开启PG的逻辑复制

wal_level = 'logical';

max_replication_slots = 20

注意这个设置要重启PG进程的

 

然后，创建测试库表和同步用的账号

CREATE DATABASE test_database;

\c test_database

create table test_1 (id int primary key , name char(40));

create table test_2 (id int primary key , name char(40));

 

CREATE ROLE test_rep LOGIN ENCRYPTED PASSWORD 'xxxx' REPLICATION;

GRANT CONNECT ON DATABASE test_database to test_rep;

 

vim pg_hba.conf 增加2行配置：

host    all                   test_rep        192.168.2.0/24         md5

host    replication     test_rep        192.168.2.0/24         md5

然后 reload 下PG

 

到192.168.2.189 机器上去 编译tunnel：

注意： tunnel的启动需要事先安装好oracle jdk 1.8

 

git clone https://github.com/hellobike/tunnel

cd tunnel

mvn clean package -Dmaven.test.skip=true

cd target

unzip AppTunnelService.zip

cd AppTunnelService

 

vim conf/test.yml 内容如下：

tunnel_subscribe_config:

  pg_dump_path: '/usr/local/pgsql-10.10/bin/pg_dump'

  subscribes:

  - slotName: slot_for_test

    pgConnConf:

      host: 192.168.2.4

      port: 1921

      database: test_database

      user: test_rep

      password: xxxx

    rules:

    - {table: test_1, pks: ['id'], topic: test_1_logs}

    - {table: test_2, pks: ['id'], topic: test_2_logs}

    kafkaConf:

      addrs:

      - 192.168.2.4:9092

tunnel_zookeeper_address: 192.168.2.4:2181

 

前台启动：

java -server -classpath conf/*:lib/* com.hellobike.base.tunnel.TunnelLauncher -u false -c cfg.properties -p 7788     # 暴露prometheus metric在7788端口(配置监控不是这里的重点，也很简单，暂时先跳过)

然后，我们再在PG10上面的test_database的2张表随便造些数据，然后可以看到kafka里面已经有数据了（下图是通过kafkamanager和 kafka-eagle的结果）。

格式化下，数据就是这样的：

UPDATE的记录的样子：

{

         "dataList": [{

                   "dataType": "integer",

                   "name": "id",

                   "value": "1111"

         }, {

                   "dataType": "character",

                   "name": "name",

                   "value": "大狗蛋 "

         }],

         "eventType": "UPDATE",

         "lsn": 10503246616,

         "schema": "public",

         "table": "test_1"

}

 

DELETE的记录的样子：

{

         "dataList": [{

                   "dataType": "integer",

                   "name": "id",

                   "value": "3"

         }],

         "eventType": "DELETE",

         "lsn": 10503247064,

         "schema": "public",

         "table": "test_1"

}