Canal——Canal-Adapter源码在IDEA部署运行

 

一、下载源码

• 下载地址：https://github.com/alibaba/canal

我这里用的是canal-1.1.4版本

• 源码结构

client-adapter项目就是本次要部署运行的

• 源码导入到IDEA中的结构如下：

 

 

二、安装配置

• 找到manven模块中有root的那个模块，然后点击install进行安装

待安装完成后，会在对应的项目的target目录下产生相应的运行包，如果不想在开发工具中运行的话，直接拷贝对应的包即可。

• 修改launcher的application.yml配置

• es adapter配置

在launcher项目中的配置文件下创建es目录并加入所需要同步的配置文件

 

 

三、运行调试

配置完毕后，直接运行launcher这个springBoot项目即可，也就是运行CanalAdapterApplication这个类就可以了。

 当看日志提示启动成功后就代表启动成功了！

 

四、测试验证

增量同步测试跟canal-adapter安装包部署运行一样，这里主要介绍及测试一下条件同步和全量同步功能，即etl功能。

launcher项目是一个spring boot项目，在其中的rest包下有一个controller类（CommonRest.java），里面提供了一些接口，其中一个用于全量同步数据的接口

• canal全量同步

我们按照注释的内容发送一个http请求即可：

 canal_db1.yml为es目录下的配置文件，运行后出现以下提示信息，就可以让canal_db1.yml配置的数据表的所有数据全同步到es中了

 在kibana中查看数据是否已经生成：

• canal条件同步

如果想执行从某一个时刻的数据同步，在上面的测试URL后加上对应的参数就可以了

其参数由es的配置项决定的，以下截图的配置文件中的etlCondition：

 

 

 

五、修改源码

以下代码增加了从索引模板中获取mapping的处理逻辑：

重新编译打包：

在项目的target目录下，会生成编译后的包，我这里修改的是es相关的，路径如下：

 

更新到canal-adapter的plugin目录下，重新服务就可以了。