Canal——写入到ES中数据错乱

 

问题描述

　　使用canal-adapter写入elasticSearch数据时，数据是写入了elasticSearch了，但出现了mysql表中的数据和elasticSearch中索引中的数据错乱的问题，即把A列的数据放到了B列中的。

研究了半天，发现是因为我在测试过程中，换过另外1个数据库，这2个库中的列不一致导致的。

因为canal会通过tsdb维护了一个当前数据库内表结构，具体配置如下：

我这里(tsdb使用的是本地的h2数据库)。

我有2个数据库，首先在第1个库测试验证，是正常的，然后换成在第2个库测试验证，就出问题了，

因为第1个库时已经缓存了表结构信息，第2个库还是拿的第1个库的表结构进行处理的。

理解canal tsdb的功能需要先看懂官方对tsdb的介绍和实现
https://github.com/alibaba/canal/wiki/TableMetaTSDB

 

 

解决方案

知道原因了就好解决了，既然是用H2存储表结构的，那删除它，然后重启服务就好了，因为会重新加载最新的表结构

cd canal/conf/db1
rm -rf h2.mv.db

 

 

后续优化

在使用HA功能的同时，如果开启tsdb的话，一定要将tsdb设置为集中式的，也就是不要使用本地的h2了，而是使用集中化的mysql数据库，保证两台canal连接的是同一个数据库。

这样的话才能够满足在进行DDL和HA切换的时候不会出现异常。