SQL server + Dinky + doris 数据导入demo

1、SQL server + Dinky + doris + flink cdc 

导入plugins的jar包

离线数仓 部分 希望可以 

1、一次性导入整张表(全量历史数据)

2、实时增量导入 通过flink cdc方式

要开启MySQL binglog

修改/etc/my.cnf

systemctl restart mysqld.service  重启mysql

Access denied; you need (at least one of) the SUPER, REPLICATION CLIENT privilege(s) for this operation

GRANT REPLICATION CLIENT ON *.* TO 'root'@'%';
FLUSH PRIVILEGES;

 

 2、配置SQL server的 cdc 和开启代理服务

    需要在服务器的控制面板 服务里 开启SQL server的代理服务 已启动

    配置 库表的cdc

ALTER AUTHORIZATION ON DATABASE::[数据库名] TO [sa]

USE database;
GO
EXEC sys.sp_cdc_enable_db

查看是否开启库 

select * from sys.databases where is_cdc_enabled = 1   

执行 开启 表 t1的cdc

EXEC sys.sp_cdc_enable_table @source_schema = 'dbo', @source_name = 't1', @role_name = null;

作业 'cdc.natu_capture' 已成功启动。
作业 'cdc.natu_cleanup' 已成功启动。

select name, is_tracked_by_cdc 
from sys.tables where object_id = OBJECT_ID('dbo.t1')