2.1检查mysql配置2.2创建canalmysql用户并授权访问binlog2.3安装canal-deployer2.4启动canal服务3使用Java程序连接canal服务3.1观察测试情况4使用canal-adapter

canal简介准备mysql修改canal-deployer安装配置canal-adapter安装配置测试遇到过的问题canalcaching_sha2_passwordAuthfailed简介阿里巴巴旗下的一款开源项目

问题使用canal-adapter全量同步（参考CanalAdapter1.1.5版本API操作服务，手动同步数据（4））的时候小批量数据可以正常运行（几千条）只要数据量一大（上万条），就会内存、CPU

本文将介绍使用docker安装配置canal-server、canal-adapter，并将MySQL的数据同步到MySQL。

ES同步日志监控脚本位置：/home/xiangtan/canal-adapter/logs/adapter脚本名称：monitor.sh脚本作用：检测到syncerror就发送微信告警，只发送1次启动脚本

昨天进行canal分库分表情况下的测试，使用canal-adapter配置完分表的配置，测试通过，但是配置多数据源，也就是分库测试之后，发现新建的库没有同步数据到es，排查分析所有日志之后，发现根本没有错误日志

的基本原理二.Mysql配置1.安装2.开启mysql的binlog3.mysql创建cannl用户并授权三.安装配置ES，kibana四.安装canal-server五.安装canal-admin六.安装canal-adapter

目录1、canal->deployer配置1.1、canal.properties文件具体配置2、启动deployer3、设置canal-adapter配置文件4、配置canal到ES的映射5、启动cana-adapter

canal-adapter监控rocketmq队列中的数据，并将获取到的数据同步到es中本文使用的的canal1.1.5版本文章目录一、canal介绍及安装1、canal主

canal同步数据详解前言canal下载工作原理开启mysql数据同步功能安装配置详情配置`canal-deployer`配置`canal-adapter`测试数据库准备创建es索引增删改admin前言上篇文章讲了

1.拉取镜像dockerpullslpcat/canal-adapter:v1.1.52.建立配置文件mkdir-p/mydata/canal-adapter/confmkdir-p/mydata/canal-adapter

数据也比较分散，业务查询数据，需要遍历多个库，查询数据慢，需要做一个数仓来统一查询且需要延时控制架构图如下：测试环境，资源有限，没有做canal-server集群，为了改善性能，canal-server跟canal-adapter

原始业务表数据同步canal-admin配置canal-admin同步mysqlbinlog到mq中服务器：10.246.1.248/home/haieradmin/data/canal/canal.admin-1.1.4.tar.gztar-xvfcanal.admin-1.1.4.tar.gz-C./canal-admin/vimapplication.ymlserver:port:8089s

前言相信点击进来看这边文章的同学们，目的是很明确的，并且已经部署canal-deploy或者canal-server，并且成功消费了MySQL的binlog日志，通过tcp方式暴露或者投递到mq了，当然，建议这块引入canal-admin，真的很香~问题的发现同步rdb，采用的非镜像模式，不会同步ddl语句这个问题相信是很容易被发现的，一般情况下，我们不会采用canal做整库的镜像同步，我们更多时

同步方法参考docker安装canal同步mysql8与elasticsearch7数据，canal-adapter中的es7文件夹下

近来被委派了一个改造canal-adapter的工作，如果有机会就给大家介绍一下canal。

k8s集群下adapter连接server域名问题改造前言问题解析解决方案前言成也容器重启，败也容器重启，说好的重启治百病，在容器这里，是重启出百病啊！之前说过，我们使用statefuset类型使canal-server域名固定之后又挂载pv使server即使重启也不会丢失数据，本以为万事大吉，没想到在用adapter同步数据时发现还是出了bug…问题使用域名注册server之后，马上启了个ada

canal新版本功能介绍：canal-admin web模块canal-server 采集数据，解析binlog 配置实例，mysql的信息canal-adapter 将数据转换为其他组件的数据源的功能

目录一、简介二、准备三、canal-admin四、canal-server五、canal-adapter一、简介操作系统：LinuxCentOS7.364位docker版本：19.03.8canal-admin

前言从canal-adapter文档我们可以知道，其实adapter本身是有从数据库读取配置的功能的，但是文档中只是简单的提了一句，本文就从代码入手，带大家看看adapter从数据库读取配置这部分的功能是如何实现以及应该如何去使用它

篇前言容器化canal-admin环境准备k8s集群创建podcanal-admin前言本文使用v1.1.4版本的canal相关程序进行容器化，主要包含cana-admin、canal-server、canal-adapter

canal-adapter同步mysql问题记录前言同步mysql问题前言canal-adapter目前支持rdb、es、kafka、hbase等多个目标端的同步，最近几篇我会记录一下我在使用adapter

前言canal-server同步到kafka本身是支持Kerberos方式的鉴权的，但是鉴于项目现在使用的kafka集群使用的是SASL/PLAIN的鉴权方式，所以需要对canal-server同步kafka做一下适配改造。准备kafkaSASL/PLAIN鉴权的搭建我参考的这篇文章kafkaSASL/PLAIN鉴权的搭建了解如何使用java向以SASL/PLAIN方式鉴权的kafka集群发送和消

一、背景介绍canal-adapter是canal的客户端适配器，能够直接将canal同步的数据写入到目标数据库（hbase,rdb,es），rdb是关系型数据库比如MySQL、Oracle、PostgresSQL

基于阿里开源的Canal开源框架，可以实现mysql数据秒级甚至毫秒级的同步和灵活配置化异构数据，其中canal-adapter模块已经实现了es、hb

前言适配elasticsearch不同版本的过程，是一个了解adapter整体架构的过程，但是同样也很想吐槽elasticsearch的版本间的不兼容问题，不过既然要用，就怂怂的接受好了。适配注：adapter使用版本为1.1.5-alpha在1.1.5版本的adapter中es的同步，将不同大版本的es打成了不同的jar包，然后再通过配置文件去调用相应版本的包去同步数据，官方提供了es6和es7

准备环境(以下几个的版本是我用的，不是强制使用)：JDK（1.8）Mysql（5.7.30）ElasticSearch(7.7.0)CanalServer(1.1.5)Canal-adapter(1.1.5

一、下载源码下载地址：https://github.com/alibaba/canal我这里用的是canal-1.1.4版本源码结构client-adapter项目就是本次要部署运行的源码导入到IDEA中的结构如下：二、安装配置找到manven模块中有root的那个模块，然后点击install进行安装待安装完成后，会在对应的项目的target目录下产生相应的运行包，如果不想在开发工具中运行的话，直

问题描述使用canal-adapter写入elasticSearch数据时，数据是写入了elasticSearch了，但出现了mysql表中的数据和elasticSearch中索引中的数据错乱的问题，即把

canal实现增量同步MySQL的数据搭建环境操作系统：CentOSrelease6.5(Final)MySQL版本：10.0.33-MariaDB-wsrepJDK版本：1.8（强力要求，否则会导致ES和canal-adapter