Docker集群部署redis,zookeeper,kafka使用手册

• 安装

1. 安装准备

1. 集群部署最少需要3台机器,不然集群无法启动,安装前请确认好机器环境,手册中的ip地址部署时以现场机器地址为准自行修改,ip地址和启动端口需要对应
2. redis：redis-6.2.6版本
3. kafka: kafka-latest版本
4. zookeeper: zookeeper-latest版本
5. load_docker_images.sh
6. docker-compose: docker-compose.yml启动文件
7. 以上所有需要的安装文件均打包在mid.zip和install_list.zip中

1. 前置准备(在每台机器上需执行)

1. 进入当前机器A(ip:192.168.1.120)
2. 执行 mkdir /home/qsdi/iVDG-1.1目录并将mid.zip上传
3. 解压unzip mid.zip
4. 执行sh load_docker_image.sh加载redsi,zoo,kafka镜像
5. 在每台机器上传install_list.zip 并执行 unzip -d /home/qsdi/iVDG-1.1/mid/ install_list.zip
6. 解压后的目录如下图:

 

1. redis集群安装

机器1:

1. vi /home/qsdi/iVDG-1.1/mid/redis/redis-7379/resource/conf/redis.conf
2. vi /home/qsdi/iVDG-1.1/mid/redis/redis-7380/resource/conf/redis.conf
3. 将这个两个配置文件中的cluster-announce-ip:都修改为现场机器1ip地址
4. cd /home/qsdi/iVDG-1.1/mid/redis/redis-7379
5. 执行docker-compose up -d 启动redis-7379节点
6. cd /home/qsdi/iVDG-1.1/mid/redis/redis-7380
7. 执行docker-compose up -d 启动redis-7380节点
8. 执行成功后如图:
9. 

 

机器2:

1. vi /home/qsdi/iVDG-1.1/mid/redis/redis-8379/resource/conf/redis.conf
2. vi /home/qsdi/iVDG-1.1/mid/redis/redis-8380/resource/conf/redis.conf
3. 将这个两个配置文件中的cluster-announce-ip:都修改为现场机器2ip地址
4. cd /home/qsdi/iVDG-1.1/mid/redis/redis-8379
5. 执行docker-compose up -d 启动redis-8379节点
6. cd /home/qsdi/iVDG-1.1/mid/redis/redis-8380
7. 执行docker-compose up -d 启动redis-8380节点
8. 执行成功后如图:
9. 

 

 

机器3:

1. vi /home/qsdi/iVDG-1.1/mid/redis/redis-9379/resource/conf/redis.conf
2. vi /home/qsdi/iVDG-1.1/mid/redis/redis-9380/resource/conf/redis.conf
3. 将这个两个配置文件中的cluster-announce-ip:都修改为现场机器3ip地址
4. cd /home/qsdi/iVDG-1.1/mid/redis/redis-9379
5. 执行docker-compose up -d 启动redis-9379节点
6. cd /home/qsdi/iVDG-1.1/mid/redis/redis-9380
7. 执行docker-compose up -d 启动redis-9380节点
8. 执行成功后如图:
9. 
10. 找其中任意一个redis服务进入容器
11. 执行docker exec -it 499ad /bin/bash
12. 创建集群，命令如下：

 

root@master:/data# redis-cli --cluster create 192.168.2.20:9380 192.168.2.20:9379 192.168.2.19:7380 192.168.2.19:7379 192.168.2.15:8380 192.168.2.15:8379 --cluster-replicas 1 -a qishudi

1. 如图所示即表示集群已经创建成功

 

 

1. 进入任意一个docker redis的容器中,执行命令 redis-cli -c -p 7379(当前机器启动的端口) -a qishudi
2. 进入后执行cluster info查看集群信息

 

1. zookeeper安装

机器1(192.168.1.116):

1. cat /home/qsdi/iVDG-1.1/mid/zoo/resources/data/myid,显示是几代表就是server.几
2. vi /home/qsdi/iVDG-1.1/mid/zoo/resources/conf/zoo.cfg,修改server.2 server.3的ip地址为对应机器的IP地址
3. 
4. cd  /home/qsdi/iVDG-1.1/mid/zoo
5. 执行 docker-compose up -d
6. 执行命令出现如下提示后则启动成功
7. 

 

 

机器2(192.168.1.117):

1. cat /home/qsdi/iVDG-1.1/mid/zoo/resources/data/myid,显示是几代表就是server.几
2. vi /home/qsdi/iVDG-1.1/mid/zoo/resources/conf/zoo.cfg,修改server.1 server.3的ip地址为对应机器的IP地址
3. 
4. cd  /home/qsdi/iVDG-1.1/mid/zoo
5. 执行 docker-compose up -d
6. 执行命令出现如下提示后则启动成功
7. 

 

 

机器3(192.168.1.120):

1. cat /home/qsdi/iVDG-1.1/mid/zoo/resources/data/myid,显示是几代表就是server.几
2. vi /home/qsdi/iVDG-1.1/mid/zoo/resources/conf/zoo.cfg,修改server.1 server.2的ip地址为对应机器的IP地址
3. 
4. cd  /home/qsdi/iVDG-1.1/mid/zoo
5. 执行 docker-compose up -d
6. 执行命令出现如下提示后则启动成功
7. 

 

 

1. kafka安装

   机器1(192.168.1.116):

1. vi /home/qsdi/iVDG-1.1/mid/kafka/docker-compose.yml
2. 修改KAFKA_ADVERTISED_LISTENERS配置的ip为机器1的当前ip,修改KAFKA_ZOOKEEPER_CONNECT为之前安装的zookeeper机器地址
3. 
4. cd  /home/qsdi/iVDG-1.1/mid/kafka
5. 执行 docker-compose up -d
6. 执行命令出现如下提示后则启动成功
7. 

 

 

机器2(192.168.1.117):

1. vi /home/qsdi/iVDG-1.1/mid/kafka/docker-compose.yml
2. 修改KAFKA_ADVERTISED_LISTENERS配置的ip为机器2的当前ip,修改KAFKA_ZOOKEEPER_CONNECT为之前安装的zookeeper机器地址
3. 
4. cd  /home/qsdi/iVDG-1.1/mid/kafka
5. 执行 docker-compose up -d
6. 执行命令出现如下提示后则启动成功
7. 

 

 

机器3(192.168.1.120):

1. vi /home/qsdi/iVDG-1.1/mid/kafka/docker-compose.yml
2. 修改KAFKA_ADVERTISED_LISTENERS配置的ip为机器3的当前ip,修改KAFKA_ZOOKEEPER_CONNECT为之前安装的zookeeper机器地址
3. 
4. cd  /home/qsdi/iVDG-1.1/mid/kafka
5. 执行 docker-compose up -d
6. 执行命令出现如下提示后则启动成功
7.