在我的docker安装redis里,已经说明过docker安装redis的流程,对于redis的安装下面文章很多部份会简写,看不懂的朋友请看我的docker安装redis说明
1:下载docker redis
docker pull redis:4.0 (注意,要下载4.0及以上版本,小于4.0版本的redis集群这种方式不可用)
2:下载ruby (redis的集群管理使用它)
docker pull ruby
3:创建虚拟网卡
docker network create redis-net
查看网卡信息
docker network ls
查看redis-net虚拟网卡网关ip
docker network inspect redis-net | grep "Gateway" | grep --color=auto -P '(\d{1,3}.){3}\d{1,3}' -o
网卡的网关是:172.18.0.1
3:创建配置文件
mkdir -p /docker/redis/{7000,7001,7002,7003,7004,7005}
redis.conf配置文件内容:
port 7000 ##节点端口
cluster-enabled yes ##cluster集群模式
cluster-config-file nodes.conf ##集群配置名
cluster-node-timeout 5000 ##超时时间
cluster-announce-ip 172.18.0.1 ##实际为各节点网卡分配ip 先用上网关ip代替
cluster-announce-port 7000 ##节点映射端口
cluster-announce-bus-port 17000 ##节点总线端
appendonly yes ##持久化模式
protected-mode no
在每个文件夹下都建立data和redis.conf配置文件起名为redis7000.conf、redis7001.conf、redis7002.conf、redis7003.conf、redis7004.conf、redis7005.conf
4:启动redis
docker run -p 7000:7000 -p 17000:17000 --restart always --name redis-7000 --net redis-net --privileged=true -v /docker/redis/7000/redis7000.conf:/etc/redis/redis.conf -v /docker/redis/7000/data:/data -d redis:4.0 redis-server /etc/redis/redis.conf
docker run -p 7001:7001 -p 17001:17001 --restart always --name redis-7001 --net redis-net --privileged=true -v /docker/redis/7001/redis7001.conf:/etc/redis/redis.conf -v /docker/redis/7001/data:/data -d redis:4.0 redis-server /etc/redis/redis.conf
docker run -p 7002:7002 -p 17002:17002 --restart always --name redis-7002 --net redis-net --privileged=true -v /docker/redis/7002/redis7002.conf:/etc/redis/redis.conf -v /docker/redis/7002/data:/data -d redis:4.0 redis-server /etc/redis/redis.conf
docker run -p 7003:7003 -p 17003:17003 --restart always --name redis-7003 --net redis-net --privileged=true -v /docker/redis/7003/redis7003.conf:/etc/redis/redis.conf -v /docker/redis/7003/data:/data -d redis:4.0 redis-server /etc/redis/redis.conf
docker run -p 7004:7004 -p 17004:17004 --restart always --name redis-7004 --net redis-net --privileged=true -v /docker/redis/7004/redis7004.conf:/etc/redis/redis.conf -v /docker/redis/7004/data:/data -d redis:4.0 redis-server /etc/redis/redis.conf
docker run -p 7005:7005 -p 17005:17005 --restart always --name redis-7005 --net redis-net --privileged=true -v /docker/redis/7005/redis7005.conf:/etc/redis/redis.conf -v /docker/redis/7005/data:/data -d redis:4.0 redis-server /etc/redis/redis.conf
5:查看容器分配ip
docker network inspect redis-net
如果redis.conf配置里的地址和network里显示的地址不对应,我们需要手动修改下地址,让redis的地址和network对应。我的redis.conf文件和network显示的地址都是一一对应的
6:创建一个ruby镜像
写Dockerfile文件
FROM ruby:latest #上面我下来的ruby
MAINTAINER sunlin
RUN gem install redis
RUN mkdir /redis
WORKDIR /redis
ADD ./redis-trib.rb /redis/redis-trib.rb
RUN gem install redis 这个是可以指定版本的 可以gem install redis -v 4.0.0 这样写。 我没指定,用的系统最新的
ADD ./redis-trib.rb /redis/redis-trib.rb 其中redis-trib.rb我是在https://github.com/antirez/redis/releases/tag/4.0.0下载的4.0.0版本
7:运行生成ruby自定义镜像
docker build -t redis-trib .
8:运行ruby
echo yes | docker run -i --rm --net redis-net redis-trib ruby redis-trib.rb create --replicas 1 172.18.0.2:7000 172.18.0.3:7001 172.18.0.4:7002 172.18.0.5:7003 172.18.0.6:7004 172.18.0.7:7005
9:检验下集群是否正常运行
进入7000容器
docker exec -it redis-7000 /bin/sh
进入redis客户端
redis-cli -p 7000 -c
set sunl test
可以看到数据正常创建成功,也保存到7002上
docker redis实例运行在不同的宿主机上实现集群
1:我准备在192.168.155.55虚拟机上启动7000,7001,7004 redis,在192.168.155.56虚拟机上启动7002,7003,7005 redis
2:修改redis.conf文件,修改6份
port 7000
cluster-enabled yes
cluster-config-file nodes.conf
cluster-node-timeout 5000
appendonly yes
protected-mode no
3:网卡用docker自带的host
docker network ls
在192.168.155.55上启动redis
docker run -p 7000:7000 -p 17000:17000 --restart always --name redis-7000 --net host -v /docker/redis/7000/redis7000.conf:/etc/redis/redis.conf -v /docker/redis/7000/data:/data -d redis:4.0 redis-server /etc/redis/redis.conf
docker run -p 7003:7003 -p 17003:17003 --restart always --name redis-7003 --net host -v /docker/redis/7003/redis7003.conf:/etc/redis/redis.conf -v /docker/redis/7003/data:/data -d redis:4.0 redis-server /etc/redis/redis.conf
docker run -p 7004:7004 -p 17004:17004 --restart always --name redis-7004 --net host -v /docker/redis/7004/redis7004.conf:/etc/redis/redis.conf -v /docker/redis/7004/data:/data -d redis:4.0 redis-server /etc/redis/redis.conf
在192.168.155.56上启动redis
docker run -p 7001:7001 -p 17001:17001 --restart always --name redis-7001 --net host -v /docker/redis/7001/redis7001.conf:/etc/redis/redis.conf -v /docker/redis/7001/data:/data -d redis:4.0 redis-server /etc/redis/redis.conf
docker run -p 7002:7002 -p 17002:17002 --restart always --name redis-7002 --net host -v /docker/redis/7002/redis7002.conf:/etc/redis/redis.conf -v /docker/redis/7002/data:/data -d redis:4.0 redis-server /etc/redis/redis.conf
docker run -p 7005:7005 -p 17005:17005 --restart always --name redis-7005 --net host -v /docker/redis/7005/redis7005.conf:/etc/redis/redis.conf -v /docker/redis/7005/data:/data -d redis:4.0 redis-server /etc/redis/redis.conf
注意:我先建立的是单虚拟机上跑6个redis容器,启动后data文件夹数据已经写入了,再建立多虚拟机跑redis的时候,需要先把data文件夹清空
4:启动完redis容器后,看下网络情况
192.168.155.55 虚拟机
docker network inspect host
192.168.155.56 虚拟机
5:启动ruby
echo yes | docker run -i --rm --net host redis-trib ruby redis-trib.rb create --replicas 1 192.168.155.55:7000 192.168.155.56:7001 192.168.155.56:7002 192.168.155.55:7003 192.168.155.55:7004 192.168.155.56:7005
6:测试集群环境是否运行正常
进入容器
docker exec -it redis-7000 /bin/sh
进入客户端
redis-cli -p 7000 -c
可以看到在7000上建立了一个key=suntest value=1234,在7001上可以得到1234,说明集群运行正常
-----------------------集群搭建遇到的一些坑,总结下小伙伴请注意------------------------------------------
1:在运行ruby的时候,一直报错>>> Creating cluster [ERR] Sorry, can't connect to node
这个问题网上有很多解释,其实按照我上面的配置不会出现,说是设置密码的,我没设置,说是版本不对的,我的版本都没问题。
最后发现是网上给的运行ruby命令有问题,一般有两种写法:
第一种:echo yes | docker run -i --rm --net redis-net ruby sh -c 'gem install redis && wget http://download.redis.io/redis-stable/src/redis-trib.rb && ruby redis-trib.rb create --replicas 1 '"$(for port in `seq 7000 7005`; do echo -n "$(docker inspect --format '{{ (index .NetworkSettings.Networks "redis-net").IPAddress }}' "redis-${port}")":${port} ' ' ; done)"
第二种:echo yes | docker run -i --rm --net redis-net redis-trib ruby redis-trib.rb create --replicas 1 "$(for port in `seq 7000 7005`; do echo -n "$(docker inspect --format '{{ (index .NetworkSettings.Networks "redis-net").IPAddress }}' "redis-${port}")":${port} ' ' ; done)"
这两种都是sh脚本这块有问题,我没发现问题在哪里,我们还是老实点,一步一步来吧。
2:当时我用第一种写法运行ruby的时候,先是报了个ruby create命令找不到的错误,这是因为wget http://download.redis.io/redis-stable/src/redis-trib.rb && ruby redis-trib.rb下来的redis-trib.rb版本和我用的redis4.0不一样造成的,要把版本统一下
3:redis.conf文件中一定要加上protected-mode no这句,很多网上的文章没有加,因为版本的不同有时会出现问题,protected-mode的解释网上很多文章都有。
4:用springboot链接redis集群,application.yml的配置文件写法:
spring.redis.database=0
spring.redis.cluster.nodes=192.168.155.55:7000,192.168.155.55:7001,192.168.155.55:7004,192.168.155.56:7002,192.168.155.56:7003,192.168.155.56:7005
spring.redis.pool.max-active=8
spring.redis.pool.max-wait=-1
spring.redis.pool.max-idle=8
spring.redis.pool.min-idle=0
spring.redis.timeout=0