一、基本概念

(一)、docker-swarm是解决多主机多个容器调度部署得问题。
Swarm是Docker 引擎内置(原生)的集群管理和编排工具。Docker Swarm是 Docker 官方三剑客项目之一,swarm是基于docker平台实现的集群技术,他可以通过几条简单的指令快速的创建一个docker集群,接着在集群的共享网络上部署应用,最终实现分布式的服务。

(二)、Docker swarm中有三种角色:

注:
Swarm: 作用运行docker engin(引擎)的多个主机组成的集群。
node: 每一个docker engin都是一个node(节点),分为 manager 和worker。
  • manager node: 负责执行容器的编排和集群的管理工作,保持并维护swarm处于期望的状态。swarm可以有多个manager node,他们会自动协调并选举出一个Leader执行编排任务。但相反,不能没有managernode。
  • worker node: 接受并执行由manager node 派发的任务,并且默认manager node也是一个work node,不过可以将它设置为manager-onlynode.让它只负责编排和管理工作。
  • service: 用来定义worker上执行的命令。

(三)、Swarm命令行说明:

docker swarm:集群管理
init          #初始化集群
join          #将节点加入集群
join-token    #管理加入令牌
leave         #从集群中删除某个节点,强制删除加参数--force 
update        #更新集群
unlock        #解锁集群
docker node:节点管理,
demote      #将集群中一个或多个节点降级
inspect     #显示一个或多个节点的详细信息
ls          #列出集群中的节点
promote     #将一个或多个节点提升为管理节点
rm          #从集群中删除停止的节点,--force强制删除参数
ps          #列出一个或多个节点上运行的任务
update      #更新节点
docker service:服务管理,
create      #创建一个新的服务
inspect     #列出一个或多个服务的详细信息
ps          #列出一个或多个服务中的任务信息
ls          #列出服务
rm          #删除一个或多个服务
scale       #扩展一个或多个服务
update      #更新服务

二、实验环境

系统版本 主机名 IP地址
centos7.3 node01 192.168.45.129
-------- node02 192.168.45.141
-------- node03 192.168.45.142
注意事项:
* 实验环境关闭防火墙、禁用selinux、
* 三台dockerhost区别主机名、
* 时间要与本机同步

1)初始化swarm集群


[root@node01 ~]# docker swarm init --advertise-addr 192.168.45.129

Docker之swarm部署集群
注:以上图片中命令释义:

①的命令:以worker身份加入swarm群集中的命令;
②的命令:以manager身份加入swarm群集中的方法;
出现上图表示初始化成功!注意:--token表示期限为24小时;

2)、配置node02、node03加入swarm群集

node02的操作如下:
[root@node01 ~]# docker swarm join --token SWMTKN-1-3atrf55hv8fzomtrtn6ieou06tvr33tr244ir6lqcn9u78vk9y-68k6gnvppi5y6bwodbwvoh5ih 192.168.45.129:2377
node03的操作如下:
[root@node02 ~]# docker swarm join --token SWMTKN-1-3atrf55hv8fzomtrtn6ieou06tvr33tr244ir6lqcn9u78vk9y-68k6gnvppi5y6bwodbwvoh5ih 192.168.45.129:2377
//以上node02、node03默认是以worker身份加入的
[root@node01 ~]# docker node  ls  
//返回node1可以看见加入集群的主机
//查看节点详细信息(只能是manager身份才可查看)
//可以看出node01、node02、node03的状态为Ready
ID                            HOSTNAME            STATUS              AVAILABILITY        MANAGER STATUS      ENGINE VERSION
vifca51rieq0zk5caclo8gdmq *   node01              Ready               Active              Leader              18.09.0
3mep2scnlan0we54dve38iy7f     node02              Ready               Active                                  18.09.0
1qe5e2z41tnz7f8uoinhilh1r     node03              Ready               Active                                  18.09.0
[root@node02 ~]# docker swarm  leave 
// docker swarm  leave :表示离开集群但是需要manager node的同意
[root@node03 ~]# docker swarm  leave 
[root@node01 ~]# docker node  ls  
//这时我们回到node01上查看加入的两台主机已经Down掉了,但是注意两台主机虽然Down掉了但是任然没有退出集群
ID                            HOSTNAME            STATUS              AVAILABILITY        MANAGER STATUS      ENGINE VERSION
vifca51rieq0zk5caclo8gdmq *   node01              Ready               Active              Leader              18.09.0
3mep2scnlan0we54dve38iy7f     node02              Down                Active                                  18.09.0
1qe5e2z41tnz7f8uoinhilh1r     node03              Down                Active                                  18.09.0
[root@node01 ~]# docker node  rm  node02 
[root@node01 ~]# docker node  rm  node03
//node01将node02、node03移除群集
[root@node01 ~]# docker node  ls
//可以看见只剩node01了
ID                            HOSTNAME            STATUS              AVAILABILITY        MANAGER STATUS      ENGINE VERSION
vifca51rieq0zk5caclo8gdmq *   node01              Ready               Active              Leader              18.09.0

以上命令可以将某一个节点加入、删除群集。


[root@node01 ~]# docker swarm leave -f
//manager节点退出swamr群集环境,这就表示swarm群集解散

不过加入时是使用worker身份的,如果想要让节点是以manager身份加入群集,需要使用以下命令:


[root@node01 ~]# docker swarm join-token manager 
//查询以manager身份加入群集的命令
[root@node01 ~]# docker swarm join-token worker
//查询以worker身份加入群集的命令

Docker之swarm部署集群_第1张图片

[root@node02 ~]#  docker swarm join --token SWMTKN-1-2x99iyt6bc4tsxplphzr681td3r6qikf4xsng5vd3pqxfuu7e4-aax0h9ptqd277uktll4buw6dw 192.168.45.129:2377
[root@node03 ~]#  docker swarm join --token SWMTKN-1-2x99iyt6bc4tsxplphzr681td3r6qikf4xsng5vd3pqxfuu7e4-aax0h9ptqd277uktll4buw6dw 192.168.45.129:2377
//以manager身份加入集群
[root@node01 ~]# docker node  ls
ID                            HOSTNAME            STATUS              AVAILABILITY        MANAGER STATUS      ENGINE VERSION
l9mvaohxaoeltwade2kv43yhk *   node01              Ready               Active              Leader              18.09.0
9mo0z9ffef4qy7hsz6gmfw5iv     node02              Ready               Active              Reachable           18.09.0
x0ugwmo9rs2kee3986g1dbnbs     node03              Ready               Active              Reachable           18.09.0
//从MANAGER STATUS这列就可看出,注意我可以将node02和node03升为manager也可以再将它们降回worker

虽然加入群集时,可以指定使用manager、worker身份,但是也可以通过以下命令,进行降级、升级,操作如下:


[root@node01 ~]# docker node demote node02
[root@node01 ~]# docker node demote node03
//将node02、node03降级为worker
[root@node01 ~]# docker node promote node02
[root@node01 ~]# docker node promote node03
//将node02、node03升级为manager
//自行验证

三、部署一个图形化webUI 界面


[root@node01 ~]# docker run -d -p 8080:8080 -e HOST=172.16.0.10 -e PORT=8080 -v /var/run/docker.sock:/var/run/docker.sock --name visualizer dockersamples/visualizer

通过浏览器访问验证:
Docker之swarm部署集群_第2张图片

//如果访问不到网页,需开启路由转发
[root@node01 ~]#echo net.ipv4.ip_forward = 1 >> /etc/sysctl.conf
[root@node01 ~]# sysctl -p

四、docker swarm群集的service服务配置

node01发布一个任务,(必须在manager角色的主机上)运行六个容器,命令如下:

[root@node01 ~]# docker service create --replicas 6  --name web -p 80:80 nginx
//--replicas: 指定副本数量副本指的也就是容器。

通过浏览器访问验证:
Docker之swarm部署集群_第3张图片

[root@node01 ~]# docker service  ls      //查看创建的service
ID                  NAME                MODE                REPLICAS            IMAGE               PORTS
wjvpsyhy2igt        web                 replicated          6/6                 nginx:latest        *:80->80/tcp
[root@node01 ~]# docker service  ps web    //查看创建的service都运行在那些容器上
ID                  NAME                IMAGE               NODE                DESIRED STATE       CURRENT STATE           ERROR               PORTS
twhwstaveapg        web.1               nginx:latest        node03              Running             Running 4 minutes ago                       
xj2ffr7ziyza        web.2               nginx:latest        node01              Running             Running 4 minutes ago                       
7rjj209wt3bk        web.3               nginx:latest        node02              Running             Running 5 minutes ago                       
syvhdvk4ci9i        web.4               nginx:latest        node03              Running             Running 4 minutes ago                       
fmkp3i6276ub        web.5               nginx:latest        node01              Running             Running 4 minutes ago                       
pn0s1e8qqvmw        web.6               nginx:latest        node02              Running             Running 5 minutes ago           

如果现在node02、node03发生宕机时,service并不会因为节点的宕机而死掉,而是自动跑到正常的节点上。

模拟node02宕机,web页面如下:
Docker之swarm部署集群_第4张图片
Docker之swarm部署集群_第5张图片
注:这里需要注意了如果我们“扩容或收缩”就可以发现原来重新启动node02会从新分配到容器,这是因为根据docker swarm自身的算法进行分配的,它会检索你的哪个节点处于健康状态如果是健康的就会重新的分配任务,如果是处于宕机就如上图所说。

五、实现service的扩容、收缩

扩容:就是添加几台service;
收缩:就是减少几台service;

针对上述环境实现收缩、扩容;

(1)service扩容

[root@node01 ~]# docker service  scale  web=8
web scaled to 8
//从原本的六台容器增加到八台

浏览器验证:
Docker之swarm部署集群_第6张图片
(2)service收缩
[root@node01 ~]# docker service scale web=4
//从原本的八台减少到四台
Docker之swarm部署集群_第7张图片
3)设置某个node不运行service
可以通过设置,使某台节点不运行service,如下:


[root@node01 ~]# docker node update --availability drain node01
//设置noder01以后不运行容器,但已经运行的容器并不会停止
// --availability:选项后面共有三个选项可配置,如下:
active:工作;pause:暂时不工作;drain:永久性的不工作

Docker之swarm部署集群_第8张图片

[root@node01 ~]# docker node update --availability drain node02
//node02也不参加工作,但已经运行的容器并不会停止

Docker之swarm部署集群_第9张图片
注:由此可以得出:不是只有manager才有不工作的权力!

六、搭建registry私有仓库

通过搭建registry私有仓库,可以便于让其他node下载镜像。
搭建私有仓库请参考Docker搭建私有仓库之registry

[root@node01 ~]# docker run -itd --name registry -p 5000:5000 -v /registry:/var/lib/registry --restart=always registry:2
[root@node01 ~]# vim /usr/lib/systemd/system/docker.service 
//更改内容为
ExecStart=/usr/bin/dockerd --insecure-registry 192.168.45.129:5000
[root@node01 ~]# systemctl daemon-reload 
[root@node01 ~]# systemctl restart docker
[root@node01 ~]# docker ps -a -q | xargs docker start
//由于刚才创建的容器并没有设置自动启动,所以在重启docker服务的时候,需要手动启动
[root@node02 ~]# vim /usr/lib/systemd/system/docker.service 
//更改内容为
ExecStart=/usr/bin/dockerd --insecure-registry 192.168.45.129:5000
[root@node02 ~]# systemctl  daemon-reload 
[root@node02 ~]# systemctl  restart  docker.service 
[root@node03 ~]# vim /usr/lib/systemd/system/docker.service 
//更改内容为
ExecStart=/usr/bin/dockerd --insecure-registry 192.168.45.129:5000
[root@node03 ~]# systemctl  daemon-reload 
[root@node03 ~]# systemctl  restart  docker.service 
//重新启动node02、node03节点的docker服务
[root@node01 ~]# docker pull httpd  
[root@node01 ~]# docker tag httpd:latest 192.168.1.1:5000/httpd:latest
[root@node01 ~]# docker push 192.168.1.1:5000/httpd:latest 
//将httpd镜像上传到私有仓库中
[root@node02 ~]#  curl 192.168.45.129:5000/v2/_catalog    //查看私有仓库中的镜像
{"repositories":["httpd"]}
[root@node02 ~]#docker pull 192.168.45.129:5000/httpd
//下载私有库中的httpd镜像

七、service服务版本的升级与回滚

(1)准备环境

[root@node01 ~]# mkdir version{1,2,3,}
[root@node01 ~]# cd version1
[root@node01 version1]# echo "version1" >> index.html
[root@node01 version1]# echo -e "FROM httpd:latest\nADD index.html /usr/local/apache2/htdocs/index.html" > Dockerfile
[root@node01 version1]# docker build -t 192.168.45.129:5000/httpd:v1 .
//version1目录下模拟生成版本v1
[root@node01 version1]# cp Dockerfile ../version2
[root@node01 version1]# cd !$
cd ../version2
[root@node01 version2]# echo "version2" >> index.html
[root@node01 version2]# docker build -t 192.168.45.129:5000/httpd:v2 .
//vesion2目录下模拟生成版本v2
[root@node01 version2]# cp Dockerfile ../version3
[root@node01 version2]# cd !$
cd ../version3
[root@node01 version3]# echo "version3" >> index.html
[root@node01 version3]# docker build -t 192.168.45.129:5000/httpd:v3 .
//vesion3目录下模拟生成版本v3
//注意在主页面做一些区分
[root@node01 ~]# docker push 192.168.45.129:5000/httpd:v1
[root@node01 ~]# docker push 192.168.45.129:5000/httpd:v2
[root@node01 ~]# docker push 192.168.45.129:5000/httpd:v3
//将生成的镜像上传到私有仓库
[root@node01 ~]# docker service create --replicas 3 --name httpd 192.168.45.129:5000/httpd:v1
//基于192.168.45.129:5000/httpd:v1创建三个service副本

浏览器访问测试:
Docker之swarm部署集群_第10张图片

注:三个service副本是轮询的方式来服务的
(2)版本升级
Docker之swarm部署集群_第11张图片
默认情况下,swarm一次只更新一个副本,并且两个副本之间并没有等待时间,可以通过以上方法进行设置。

[root@node01 ~]# docker service update --replicas 6 --image 192.168.45.129:5000/httpd:v3 --update-parallelism 2 --update-delay 1m httpd
//--update-parallelism:设置更新的副本数量;
//--update-delay:更新的间隔时间
// --replicas 6:并在升级的过程中另外再创建3个副本

从更新的过程中可以看出效果!

浏览器确认版本更新成功:
Docker之swarm部署集群_第12张图片
(3)版本回滚

[root@node01 ~]# docker service rollback httpd
//回滚为上一个版本

Docker之swarm部署集群_第13张图片
注意:当我们执行回滚操作的时候,默认是回滚到上一次操作的版本,并且不可以连续回滚。