Canal报错总结

总算是跑起来了,看看效果吧

这是我的SQLCanal报错总结_第1张图片 表里面插入数据image.png 刷新下就可以看到已经查询出来了Canal报错总结_第2张图片

canal报错nosuchmethod ..bytebufferCanal报错总结_第3张图片

解决方法:更新jdk版本与es一致

cancal报错 config dir not foundCanal报错总结_第4张图片

替换classpath中间封号两边的值Canal报错总结_第5张图片

canal控制台乱码Canal报错总结_第6张图片

将其改为GBK即可

ERROR c.a.otter.canal.adapter.launcher.loader.AdapterProcessor - java.lang.NullPointerException

Canal报错总结_第7张图片

网上都说是需要改yml里面的SQL,表要设置别名,然而我试了,没有效果。。。 没办法,debug源码看看,这边能看到,是别名不匹配导致的Canal报错总结_第8张图片 Canal报错总结_第9张图片 这里为null导致的异常,一看就是个BUG,这里呢继续跟踪,追到下面能看到解析的时候使用了sqlidentifierexpr,导致owners为空Canal报错总结_第10张图片 如果不想为空,需要让他走sqlpropertyexpr,那么如何让他走呢?Canal报错总结_第11张图片要给所有字段加上别名才行,这样问题就解决啦Canal报错总结_第12张图片

Unknown system variable 'query_cache_size'

这是因为mysql驱动包的版本过低导致的,query cache在MySQL5.7.20就已经过时了,而在MySQL8.0之后就已经被移除了 1、只需要将lib中的驱动器替换成mysql-connector-java-8.0.22.jar 2、修改驱动器权限Canal报错总结_第13张图片

Reason: No converter found capable of converting from type [java.lang.String] to type [java.util.Map]

启动canal-adapter报错: Canal报错总结_第14张图片 观察报错信息可以得知是配置文件中的outer2(0基,所以outer-adapter[1]实际指的是2)的properties配置有问题,我们观察配置文件,发现是properties下的mode,cluster.name等属性与properties同级了,将其如下图所示后退两字符即可。Canal报错总结_第15张图片

RuntimeException: java.lang.RuntimeException: No data source found: xxxx

这个因为在conf/es/xxx.yml中配置的dataSourceKey并没有在conf/application.yml中的srcDataSources中维护 如下图所示,es中的dataSourceKey需要在applicaiton.yml中设置,默认是defaultDSCanal报错总结_第16张图片Canal报错总结_第17张图片

Reason: Unable to set value for property src-data-sourcesCanal报错总结_第18张图片

原因一: mysql驱动器导致的问题,使用的数据库是8.x。驱动器是5.x的,将mysql驱动替换为8.0.x版本的。如上所示报错1 原因二: 检查该报错前的日志,是否有其他相关报错信息,比如无相关数据库,如下所示,根据其报错内容来检查配置项并且调整即可Canal报错总结_第19张图片

java.sql.SQLException: null, message from server: "Host '172.16.188.2' is blocked because of many connection errors; unblock with 'mysqladmin flush-hosts'"

同一个ip在短时间内产生太多中断的数据库连接而导致的阻塞 登录对应的mysql,执行如下指令Canal报错总结_第20张图片

IllegalStateException: Extension instance(name: es7, class: interface com.alibaba.otter.canal.client.adapter.OuterAdapter) could not be instantiated: class could not be found

一般 could not be instantiated: class could not be found这样的报错是配置文件的问题,如上的报错可以看到是name: es7中的错误,在官方的示例文档中使用的是name: es6 # or es7。 在canal1.1.5+版本中设置的是name: es6 # 或者es7 但在1.1.4版本中直接使用name: es即可

IllegalArgumentException: Not found the mapping info of index: user

1、这个报错是ES的mapping设置的问题,确保es中有该索引,并且确认是否有部分字段没有在es中设置mapping,这个要对应之前设置的sql,以及es中的mappings来解决 2、使用了elasticsearch 7.x,但adapter1.1.4默认支持es6.x 解决方案: (1)修改adapter源码,将es依赖调整为7.x;参考博客adapter1.1.4修改源码支持es7.x (2)换成adapter1.1.5

IllegalArgumentException: Illegal character in scheme name at index 0: 172.16.188.7:9200

如果连接es使用的是rest方式,那么hosts中的ip前要添加http://,如Canal报错总结_第21张图片

com.alibaba.druid.pool.DruidDataSource cannot be cast to com.alibaba.druid.pool.DruidDataSourceCanal报错总结_第22张图片

原因: druid 包冲突 解决: 1、修改client-adapter/escore/pom.xml Canal报错总结_第23张图片 2、重新打包 Canal报错总结_第24张图片 3、将client-adapter/es7x/target/client-adapter.es7x-1.1.5-jar-with-dependencies.jar上传到服务器,替换adataper/plugin下的同名jar文件 Canal报错总结_第25张图片Canal报错总结_第26张图片 4、给该文件赋权 Canal报错总结_第27张图片 5、重启服务

CanalParseException: java.io.IOException: EOF encountered

将lib目录下的mysql驱动器替换为mysql8.0,并附权。参考上述

CanalClientException: java.io.IOException: Broken pipe Error sync but ACK

服务连接断开了,将deployer和adapter都关闭,先启动deployer再启动adapter

DocumentMissingException[_doc: document missing]

1、es集群出现问题,导致doc无法分配。常见的是分片数的问题,可能是副本分片过多,导致集群报黄 解决: 因为我的是es单节点,所以将主分片数设置为1,副本分片设置为0。不申明的话默认创建副本分片数为1Canal报错总结_第28张图片 2、修改的mysql数据库数据,在es中不存在。先进行全量同步,再进行增量同步 在conf/example/instance.properties中修改Canal报错总结_第29张图片

ERROR c.a.otter.canal.server.netty.handler.SessionHandler - something goes wrong with channel:[id: 0x23d9cad9, /127.0.0.1:46472 :> /127.0.0.1:11111], exception=java.nio.channels.ClosedChannelException

这是由于deployer中的conf/example/meta.dat与instance.properties文件中的journalName,position,timestamp不一致导致的Canal报错总结_第30张图片Canal报错总结_第31张图片将meta.dat删除或者修改一致即可。删除后将会按照instance.properties中设置的起点同步,生产环境考虑好需要后再删除。 如果想要将之前的数据也同步的话,可以将数据库先导出,再重新导入一遍,即可重新生成binlog,实现数据的全量同步

Received error packet: errno = 1236, sqlstate = HY000 errmsg = Could not find first log file name in binary log index file

mysql bin log数据不同步,刷新一下即可Canal报错总结_第32张图片

binlog也设置为000001了,timestamp也设置了,但就是无法实现全量同步

1、删除conf/example/meta.dat 2、调整conf/example/instance.properties

Canal报错总结_第33张图片3、重启deployer 另外需要注意的是如果bin log是只会记录增量操作的,也就是说开启bin log之前的历史数据是不会记录的,如果需要同步者之前的数据,解决这个问题有三个办法: (1)通过logstash-input-jdbc来实现 (2)通过业务代码来实现(后续会详细讲解这两种方式,可以关注我后续的博客) (3)复制原数据库数据到开启了binlog的从数据库,然后从从数据库同步

adapter启动报错:something goes wrong when starting up the canal client adapters: java.lang.NullPointerException: null

这个报错是空指针报错,很明显是哪里获取为空的,这种错误没有固定的原因,但大概率上可以锁定配置文件的问题 1、adapter的配置文件中是有包含了mysql、es、mq、zk等配置,如果不需要的配置项,就将其注释掉,不要打开 比如我这里的报错原因就是因为打开了zookeeperHosts,但是没有配置具体值,所以导致了空指针,因为我不需要zk,将其注释掉即可Canal报错总结_第34张图片 2、某些必要的配置没有设置,快速排查的方式就是根据官方文档中给出的配置文件对比排错 可以参考如下配置文件 3、配置文件中配置项排版错位

Canal报错总结_第35张图片Canal报错总结_第36张图片

Field error in object 'target' on field 'esMapping': rejected value [];Canal报错总结_第37张图片

这是配置文件问题,检查es下的配置yml文件,特别是sql语句的语法是否有问题

java.util.NoSuchElementException

没有找到对应字段导致 检查下canal配置文件中的字段是否在es mapping中有对应的,大小写是否一致,是否有遗漏 因为我的操作是mysql同步至es,所以这里说明几项容易出错的地方: 1、canal配置文件中的sql中是否大小写一致,canal是区分大小写的 2、sql中设置的别名是否与es mappings中的名称一致,允许es中的部分字段为空,但是不允许sql中查询出来的字段在es mappings中找不到对应的字段 3、canal配置文件中的dataSourceKey是否正确,其对应到canal application.yml配置文件中的数据库是否正确Canal报错总结_第38张图片 application.yml Canal报错总结_第39张图片 4、canal配置文件中的排版是否正确,特别注意_index,_type等属性要放在esMappings下 5、sql查询出来的字段类型与es mappings中的字段数据类型是否一致

adapter日志中没有报错,但是没有读取binlog | Could not find first log file name in binary log index file

adapter日志中没有报错信息,于是去查看deployer日志,这里的example是你配置的实例

Canal报错总结_第40张图片 会发现报错Canal报错总结_第41张图片 解决: 1、既然问题是没有找到数据库的binglog文件位置,那么就查看一下现在的binlog文件位置,登陆mysql执行 2.1 如果你是做增量同步,那么查询当前binlog位置

Canal报错总结_第42张图片Canal报错总结_第43张图片 修改conf/example/instance.properties文件

Canal报错总结_第44张图片 2.2 如果你要做全量同步,查询binlog文件

Canal报错总结_第45张图片 3、重启deployer和adapter

CanalParseException: parse row data failed. | column size is not match for table

deployser日志报错:

Canal报错总结_第46张图片 解决: 1、可以看到报错中已经给出明确提示了Canal报错总结_第47张图片 2、该错误官方中有解释 官方文档 TableMetaTSDB 在instance.properties中设置

Canal报错总结_第48张图片 3、一般将这个开启就解决了,但是我这里即时将其开启还是报错,查阅相关资料有说将canal.instance.tsdb.enable设置为false后重启解决的,但是我这里将其设置为false后依旧没有解决 实在没有其他办法了,查阅官方github,导致这个问题发生的原因是因为表结构发生过变化,但是binlog中读取到的与现在的表结构不一致导致。 于是直接跳过该binlog checkpoint,也就是将binlog的读取位置设置为当前的最新binlog位置 (1)查阅当前binlog最新位置,mysql中执行Canal报错总结_第49张图片 (2)将读取位置该为最新,修改deployer conf/example/instance.properties

Canal报错总结_第50张图片 3)重启deployer , adapter (4)因为读取的是最新的binlog。为了把当前的数据同步进来,将需要同步的表或库导出,然后再导入一遍。问题解决(注意:这里的解决方案要谨慎,生产环境因为时时刻刻在产生数据,可行性很低,所以看要么设置一个停机维护来进行实操)

use gtid and TableMeta TSDB should be config timestamp > 0

在instance.properties中设置时间戳

Canal报错总结_第51张图片

RuntimeException: com.alibaba.fastjson.JSONException: unclosed string

该错误是因为sql中使用了group_concat函数,但是该函数默认长度是1024,超过的会被截取,导致出现了json格式的数据格式不正确,没有正确的关闭json

解决: 1、修改my.cnf,扩大group_concat_max_lenCanal报错总结_第52张图片 2、重启mysql

MySQLSyntaxErrorException: Unknown column '_v._id' in 'where clause'

sql中没有_id字段导致,使用as将id命名别名:select id as _id

adapter中有同步日志打印,但es中数据未同步

我这里出现这个问题是在canal1.1.6版本中,原因是es7文件夹中的.yml文件中书写的sql里使用了``将表名括起来,导致未识别,如下所示

Canal报错总结_第53张图片 解决: 将``去掉即可

你可能感兴趣的:(Canal,Mysql)