ElasticSearch + Canal搭建搜索系统(整理中)

一、Canal安装

1.Canal下载地址：https://github.com/alibaba/canal/releases

二、Zookeeper集群安装

主要是zoo.cfg中修改如下配置，从sample赋值过来配置后修改；以及创建data,dataLog目录；data文件夹下面创建myid文件，指定server的id值1或者2等。

dataDir=/home/centos/es/zookeeper-3.4.11_1/data
dataLogDir=/home/centos/es/zookeeper-3.4.11_1/dataLog

clientPort=2181

server.1=10.144.130.183:2888:3888
server.2=10.144.130.183:2889:3889
server.3=10.144.130.185:2890:3890

#server.A=B:C:D  其中A是一个数字，代表这是第几号服务器；B是服务器的IP地址；C表示服务器与群集中的“领导者”交换信息的端口；当领导者失效后，D表示用来执行选举时服务器相互通信的端口。

如果开了防火墙，需要加入2888,3888,2889,3889,2890,3890各个服务器之间的tcp端口准入。

参考地址：https://www.cnblogs.com/jxwch/p/6433310.html

三、kafka集群安装

主要修改config下的server.properties 文件中的配置

#broker.id=0  每台服务器的broker.id都不能相同


#hostname
host.name=192.168.7.100

#在log.retention.hours=168 下面新增下面三项
message.max.byte=5242880
default.replication.factor=2
replica.fetch.max.bytes=5242880

#设置zookeeper的连接端口
zookeeper.connect=192.168.7.100:12181,192.168.7.101:12181,192.168.7.107:12181

启动服务

#从后台启动Kafka集群（3台都需要启动）
cd /opt/kafka/kafka_2.11-0.9.0.1//bin #进入到kafka的bin目录 
./kafka-server-start.sh -daemon ../config/server.properties

检查服务是否启动

#执行命令jps
20348 Jps
4233 QuorumPeerMain
18991 Kafka

解析：

        1、使用默认配置就好，注意五个个选项，brokerid、num.partitions、default.replication.factor、zookeeper.connect、zookeeper.connection.timeout.ms

        2、brokerid，当前节点的id号，唯一标识，建议给顺序数字，方便管理

        3、num.partitions，控制设定几个分区，default.replication.factor，控制设定几个备份。

        这里博主有三个节点，所以各给了3。同学们也可根据自身实际情况以及自身需求给定

        4、zookeeper.connect指定外部zk源的各个节点。若无特殊指定，外部zk集群默认端口2181

        5、zookeeper.connection.timeout.ms根据自身网络情况设定，通常默认就好

参考地址：https://www.cnblogs.com/luotianshuai/p/5206662.html

                  https://blog.csdn.net/m0_37590135/article/details/74078885

四、canal.kafka安装

canal.kafka-1.1.0.tar.gz

1.1canal原生支持kafka消息，仅安装这个包就可以，阿里有安装的详细步骤，以及mysql的设置，详细见下面连接

https://github.com/alibaba/canal/releases

https://github.com/alibaba/canal/wiki/Canal-Kafka-QuickStart

https://github.com/alibaba/canal/wiki/AdminGuide

MySQL中的canal需要赋权限

grant all privileges on *.* to canal@'%'identified by "canal" with grant option;

五、es安装

参考地址：https://blog.csdn.net/chenxun_2010/article/details/78437852