ElasticSearch + Canal搭建搜索系统(整理中)
一、Canal安装
1.Canal下载地址：https://github.com/alibaba/canal/releases
二、Zookeeper集群安装
主要是zoo.cfg中修改如下配置，从sample赋值过来配置后修改；以及创建data,dataLog目录；data文件夹下面创建myid文件，指定server的id值1或者2等。
dataDir=/home/centos/es/zookeeper-3.4.11_1/data
dataLogDir=/home/centos/es/zookeeper-3.4.11_1/dataLog
clientPort=2181
server.1=10.144.130.183:2888:3888
server.2=10.144.130.183:2889:3889
server.3=10.144.130.185:2890:3890#server.A=B:C:D 其中A是一个数字，代表这是第几号服务器；B是服务器的IP地址；C表示服务器与群集中的“领导者”交换信息的端口；当领导者失效后，D表示用来执行选举时服务器相互通信的端口。如果开了防火墙，需要加入2888,3888,2889,3889,2890,3890各个服务器之间的tcp端口准入。
参考地址：https://www.cnblogs.com/jxwch/p/6433310.html
三、kafka集群安装
主要修改config下的server.properties 文件中的配置
#broker.id=0 每台服务器的broker.id都不能相同
#hostname
host.name=192.168.7.100
#在log.retention.hours=168 下面新增下面三项
message.max.byte=5242880
default.replication.factor=2
replica.fetch.max.bytes=5242880
#设置zookeeper的连接端口
zookeeper.connect=192.168.7.100:12181,192.168.7.101:12181,192.168.7.107:12181启动服务
#从后台启动Kafka集群（3台都需要启动）
cd /opt/kafka/kafka_2.11-0.9.0.1//bin #进入到kafka的bin目录
./kafka-server-start.sh -daemon ../config/server.properties
检查服务是否启动
#执行命令jps
20348 Jps
4233 QuorumPeerMain
18991 Kafka解析：
1、使用默认配置就好，注意五个个选项，brokerid、num.partitions、default.replication.factor、zookeeper.connect、zookeeper.connection.timeout.ms
2、brokerid，当前节点的id号，唯一标识，建议给顺序数字，方便管理
3、num.partitions，控制设定几个分区，default.replication.factor，控制设定几个备份。
这里博主有三个节点，所以各给了3。同学们也可根据自身实际情况以及自身需求给定
4、zookeeper.connect指定外部zk源的各个节点。若无特殊指定，外部zk集群默认端口2181
5、zookeeper.connection.timeout.ms根据自身网络情况设定，通常默认就好
参考地址：https://www.cnblogs.com/luotianshuai/p/5206662.html
https://blog.csdn.net/m0_37590135/article/details/74078885
四、canal.kafka安装
canal.kafka-1.1.0.tar.gz
1.1canal原生支持kafka消息，仅安装这个包就可以，阿里有安装的详细步骤，以及mysql的设置，详细见下面连接
https://github.com/alibaba/canal/releases
https://github.com/alibaba/canal/wiki/Canal-Kafka-QuickStart
https://github.com/alibaba/canal/wiki/AdminGuide
MySQL中的canal需要赋权限
grant all privileges on *.* to canal@'%'identified by "canal" with grant option;
五、es安装
参考地址：https://blog.csdn.net/chenxun_2010/article/details/78437852