Canal数据堆积

记录一下canal的问题。数据同步一直使用阿里开源的canal，最近使用过程中遇到一些问题，在这里记录一下。

原因

我们使用canal监听MySQL，然后通过client获取发送到mq（自定义格式）。最近数据组的同事批量更新了一次数据，大概800多万，导致了client发生oom，消费不了。

解决方案

修改server端的filter，将监听的表去掉，这样client就不会再获取到这张表的数据了，避免client大量获取server端的数据。（其实根本问题在于client写的比较粗糙，目前这种方法在不修改源码的基础上能很好的解决目前的问题，后续再对client进行调整优化）

我们自己做了一些自定义的管理，可以实时修改instance.properties这个文件。而且canal server开启了auto scan之后会自动扫描配置更改自动重启。