阿里canal数据库同步ES使用

canal的概念这里我就不多说了，以下附上git链接查看：https://github.com/alibaba/canal
随笔记录一下我遇到的问题与修改，这里主要讲如何正确的配置：
首先，去官网下载相关jar包与源码包，这里我使用的是1.1.4版本：
https://github.com/alibaba/canal/releases/tag/canal-1.1.4

image.png

上面是功能介绍，拉至最下面就能看到所需的tar包以及源码包，大家可以下载所需要的

image.png

在这里，我下载了canal.adapter和SourceCode
canal.adapter用于部署linux环境上
SourceCode用于本地调试代码和自定义新增的配置文件
源码的目录结构为：

image.png

common：通用基础包
elasticsearch：对应es数据库落地处理器
hbase：对应hbase数据库落地处理器
logger：对应日志方式落地处理器
rdb：对应rdb方式落地处理器
launcher：主要逻辑代码，使用哪个具体的处理器就依赖哪个jar包

在工作中，我使用了ES数据库落地的方式同步数据：
以下三个文件是需要增加、修改的文件，es文件下可以配置多个

image.png

1.修改application.yml配置
canalAdapters可以配置多个adapter，在这里配置了es和logger，logger用于打印日志，方便查看日志信息
一个instance可以配置多个组和实例，处理器的key是唯一标识

image.png

2.需要在launcher项目resource/es文件夹下创建需要同步的表配置文件

image.png

上述基础的配置就配置完成了

下面是代码修改，由于我使用的是ES7.6.1版本，所以client-adapter-elasticsearch处理器需要修改一些代码：
源代码：
com.alibaba.otter.canal.client.adapter.es.support.ESConnection
getMapping方法：

image.png

将158行代码修改为：

mappingMetaData = (MappingMetaData)((ImmutableOpenMap)mappings.get(index)).get("properties");

修改之后才能获得es索引库的配置信息，我们在application.yml配置文件中es的连接模式为rest，只需修改158行的代码即可

com.alibaba.otter.canal.client.adapter.es.support.ESSyncUtil
项目中本身是支持group by语法的，但是实例配置文件sql语句中是若使用where条件查询是不支持group by的，mysql会报一个语法错误，我们需要新增一个sql拼接的重载方法

image.png

需要在com.alibaba.otter.canal.client.adapter.es.service.ESSyncService
修改mainTableInsert和mainTableUpdate方法：

image.png

image.png

修改之后，打包编译，启动launcher项目测试同步是否成功。
测试成功后可以部署到生产环境，
注意：plugin文件夹下要替换es依赖包

image.png

然后启动，就可以将mysql数据库的数据同步到es库了～
后续有时间再附上源码分析