canal指定binlog定位正确姿势
现场回顾
1、canal重新构建后会清除meta.dat缓存binlog定位
2、canal构建后如果没有找到meta.dat会重新读取最后一个binglog的全部数据
3、mysql binlog的默认大小一般为1024M，一般情况下我们不会修改binlog大小，这样会导致每次重新构建canal服务端会花大量时间读取binlog，严重降低系统可用性。
实战需求
1、较少系统读取binlog时间，以尽量少的时间恢复生产环境
2、恢复生产环境后增量无异常
小试牛刀
目前修改canal定位有两个方案：
1、修改cannal服务端 instance.properties
1.1 查看mysql主库当前binlog定位以及获取时间戳
#查看主库binglog最新定位
show master status
10.10.10.202:6456 408960218
#获取当前时间戳
select UNIX_TIMESTAMP()
1656513284678
1.2 instance.properties增加binlog配置
canal.instance.master.address= 10.10.10.202:6456
canal.instance.master.journal.name= server-6-bin.000464
canal.instance.master.position= 408960218
canal.instance.master.timestamp= 1656513284678
1.3、项目重新构建后会清除canal缓存的meta.dat，canal服务端找不到缓存的配置会直接拉取配置文件的配置信息。
注意：此配置可能会失效，造成canal拉取不到配置定位信息。
2、终极暴力方案，直接meta.dat定位信息
2.1 应该都知道canal服务端会缓存一个mata.dat的定位文件在服务端
-rw-r--r-- 1 root root 208896 Jul 7 23:24 h2.mv.db
-rwxrwxrwx 1 root root 2275 Jul 7 15:42 instance.properties
-rw-r--r-- 1 root root 358 Jul 18 10:01 meta.dat
[root@c137272672c4 test_clue_list]# pwd
/home/canal/conf/test_clue_list
[root@c137272672c4 test_clue_list]#
这个文件里面保存了canal读取binlog的定位信息：
{“clientDatas”:[{“clientIdentity”:{“clientId”:1001,“destination”:“test_clue_list”,“filter”:“”},“cursor”:{“identity”:{“slaveId”:-1,“sourceAddress”:{“address”:“10.10.10.202”,“port”:6456}},“postion”:{“gtid”:“”,“included”:false,“journalName”:“3ddc263eb6c7-bin.000158”,“position”:27612928,“serverId”:1,“timestamp”:1658109748000}}}],“destination”:“test_clue_list”}[root@c137272672c4 test_clue_list]#
2.2 项目构建后我们可以修改这个文件的配置信息，一般修改position里面几个选项即可:
echo "{\"clientDatas\":[{\"clientIdentity\":{\"clientId\":1001,\"destination\":\"test_clue_list\",\"filter\":\"\"},\"cursor\":{\"identity\":{\"slaveId\":-1,\"sourceAddress\":{\"address\":\"10.10.10.202\",\"port\":6456}},\"postion\":{\"gtid\":\"\",\"included\":false,\"journalName\":\"3ddc263eb6c7-bin.000158\",\"position\":27612928,\"serverId\":1,\"timestamp\":1658109748000}}}],\"destination\":\"test_clue_list\"}" > meta.dat
2.3 修改完重启项目即可
2.4、如果需要同步的es索引很多修改这个文件是一个很费事的工作量，大家可以写一个shell脚本进行批量修改即可。如有需要看私信获取批量修改的shell脚本。
寄语：
canal读取binlog定位个人推荐第一种方案，如果第一种失效可以检查源码是否有问题；如果找不到具体原因可以直接用第二种方案强制修改。