大数据 DTS Canal

1.DTS在整体架构中的位置(数据层)

大数据 DTS Canal_第1张图片

2.DTS作用

大数据 DTS Canal_第2张图片

3.Canal伪装成Mysql的slave,通过读取整合binlog的日志,输出对数据库的修改内容。

4.安装服务端

4.1)下载版本目前稳定版本为1.0.24

4.2)解压缩。

文件夹说明logs日志,conf配置。

4.3)确认master数据库配置已经添加

[mysqld]
log-bin=mysql-bin #添加这一行就ok
binlog-format=ROW #选择row模式
server_id=1 #配置mysql replaction需要定义,不能和canal的slaveId重复

4.4)HA模式配置

cat conf/canal.properties

canal.zkServers=10.20.144.51:2181
canal.instance.global.spring.xml = classpath:spring/default-instance.xml

cat conf/example/instance.properties

大数据 DTS Canal_第3张图片

4.5)启动,关闭

sh bin/stop.sh

sh bin/startup.sh

4.6)查看启动日志

tail -f logs/canal/canal.log

大数据 DTS Canal_第4张图片

tail -f logs/example/example.log

5.客户端代码

ClusterCanalClientTest这里改
CanalConnector connector = CanalConnectors.newClusterConnector("192.168.1.189:2181", destination, "", "");
AbstractCanalClientTest这里改
connector.subscribe("test.test");

 

 

 

 

 

 

 

 

 

你可能感兴趣的:(大数据,DTS)