一、基本概念
(一)、docker-swarm是解决多主机多个容器调度部署得问题。
Swarm是Docker 引擎内置(原生)的集群管理和编排工具。Docker Swarm是 Docker 官方三剑客项目之一,swarm是基于docker平台实现的集群技术,他可以通过几条简单的指令快速的创建一个docker集群,接着在集群的共享网络上部署应用,最终实现分布式的服务。
(二)、Docker swarm中有三种角色:
注:
Swarm: 作用运行docker engin(引擎)的多个主机组成的集群。
node: 每一个docker engin都是一个node(节点),分为 manager 和worker。
- manager node: 负责执行容器的编排和集群的管理工作,保持并维护swarm处于期望的状态。swarm可以有多个manager node,他们会自动协调并选举出一个Leader执行编排任务。但相反,不能没有managernode。
- worker node: 接受并执行由manager node 派发的任务,并且默认manager node也是一个work node,不过可以将它设置为manager-onlynode.让它只负责编排和管理工作。
- service: 用来定义worker上执行的命令。
(三)、Swarm命令行说明:
docker swarm:集群管理
init #初始化集群
join #将节点加入集群
join-token #管理加入令牌
leave #从集群中删除某个节点,强制删除加参数--force
update #更新集群
unlock #解锁集群
docker node:节点管理,
demote #将集群中一个或多个节点降级
inspect #显示一个或多个节点的详细信息
ls #列出集群中的节点
promote #将一个或多个节点提升为管理节点
rm #从集群中删除停止的节点,--force强制删除参数
ps #列出一个或多个节点上运行的任务
update #更新节点
docker service:服务管理,
create #创建一个新的服务
inspect #列出一个或多个服务的详细信息
ps #列出一个或多个服务中的任务信息
ls #列出服务
rm #删除一个或多个服务
scale #扩展一个或多个服务
update #更新服务
二、实验环境
系统版本 | 主机名 | IP地址 |
---|---|---|
centos7.3 | node01 | 192.168.45.129 |
-------- | node02 | 192.168.45.141 |
-------- | node03 | 192.168.45.142 |
注意事项:
* 实验环境关闭防火墙、禁用selinux、
* 三台dockerhost区别主机名、
* 时间要与本机同步
1)初始化swarm集群
[root@node01 ~]# docker swarm init --advertise-addr 192.168.45.129
①的命令:以worker身份加入swarm群集中的命令;
②的命令:以manager身份加入swarm群集中的方法;
出现上图表示初始化成功!注意:--token表示期限为24小时;
2)、配置node02、node03加入swarm群集
node02的操作如下:
[root@node01 ~]# docker swarm join --token SWMTKN-1-3atrf55hv8fzomtrtn6ieou06tvr33tr244ir6lqcn9u78vk9y-68k6gnvppi5y6bwodbwvoh5ih 192.168.45.129:2377
node03的操作如下:
[root@node02 ~]# docker swarm join --token SWMTKN-1-3atrf55hv8fzomtrtn6ieou06tvr33tr244ir6lqcn9u78vk9y-68k6gnvppi5y6bwodbwvoh5ih 192.168.45.129:2377
//以上node02、node03默认是以worker身份加入的
[root@node01 ~]# docker node ls
//返回node1可以看见加入集群的主机
//查看节点详细信息(只能是manager身份才可查看)
//可以看出node01、node02、node03的状态为Ready
ID HOSTNAME STATUS AVAILABILITY MANAGER STATUS ENGINE VERSION
vifca51rieq0zk5caclo8gdmq * node01 Ready Active Leader 18.09.0
3mep2scnlan0we54dve38iy7f node02 Ready Active 18.09.0
1qe5e2z41tnz7f8uoinhilh1r node03 Ready Active 18.09.0
[root@node02 ~]# docker swarm leave
// docker swarm leave :表示离开集群但是需要manager node的同意
[root@node03 ~]# docker swarm leave
[root@node01 ~]# docker node ls
//这时我们回到node01上查看加入的两台主机已经Down掉了,但是注意两台主机虽然Down掉了但是任然没有退出集群
ID HOSTNAME STATUS AVAILABILITY MANAGER STATUS ENGINE VERSION
vifca51rieq0zk5caclo8gdmq * node01 Ready Active Leader 18.09.0
3mep2scnlan0we54dve38iy7f node02 Down Active 18.09.0
1qe5e2z41tnz7f8uoinhilh1r node03 Down Active 18.09.0
[root@node01 ~]# docker node rm node02
[root@node01 ~]# docker node rm node03
//node01将node02、node03移除群集
[root@node01 ~]# docker node ls
//可以看见只剩node01了
ID HOSTNAME STATUS AVAILABILITY MANAGER STATUS ENGINE VERSION
vifca51rieq0zk5caclo8gdmq * node01 Ready Active Leader 18.09.0
以上命令可以将某一个节点加入、删除群集。
[root@node01 ~]# docker swarm leave -f
//manager节点退出swamr群集环境,这就表示swarm群集解散
不过加入时是使用worker身份的,如果想要让节点是以manager身份加入群集,需要使用以下命令:
[root@node01 ~]# docker swarm join-token manager
//查询以manager身份加入群集的命令
[root@node01 ~]# docker swarm join-token worker
//查询以worker身份加入群集的命令
[root@node02 ~]# docker swarm join --token SWMTKN-1-2x99iyt6bc4tsxplphzr681td3r6qikf4xsng5vd3pqxfuu7e4-aax0h9ptqd277uktll4buw6dw 192.168.45.129:2377
[root@node03 ~]# docker swarm join --token SWMTKN-1-2x99iyt6bc4tsxplphzr681td3r6qikf4xsng5vd3pqxfuu7e4-aax0h9ptqd277uktll4buw6dw 192.168.45.129:2377
//以manager身份加入集群
[root@node01 ~]# docker node ls
ID HOSTNAME STATUS AVAILABILITY MANAGER STATUS ENGINE VERSION
l9mvaohxaoeltwade2kv43yhk * node01 Ready Active Leader 18.09.0
9mo0z9ffef4qy7hsz6gmfw5iv node02 Ready Active Reachable 18.09.0
x0ugwmo9rs2kee3986g1dbnbs node03 Ready Active Reachable 18.09.0
//从MANAGER STATUS这列就可看出,注意我可以将node02和node03升为manager也可以再将它们降回worker
虽然加入群集时,可以指定使用manager、worker身份,但是也可以通过以下命令,进行降级、升级,操作如下:
[root@node01 ~]# docker node demote node02
[root@node01 ~]# docker node demote node03
//将node02、node03降级为worker
[root@node01 ~]# docker node promote node02
[root@node01 ~]# docker node promote node03
//将node02、node03升级为manager
//自行验证
三、部署一个图形化webUI 界面
[root@node01 ~]# docker run -d -p 8080:8080 -e HOST=172.16.0.10 -e PORT=8080 -v /var/run/docker.sock:/var/run/docker.sock --name visualizer dockersamples/visualizer
//如果访问不到网页,需开启路由转发
[root@node01 ~]#echo net.ipv4.ip_forward = 1 >> /etc/sysctl.conf
[root@node01 ~]# sysctl -p
四、docker swarm群集的service服务配置
node01发布一个任务,(必须在manager角色的主机上)运行六个容器,命令如下:
[root@node01 ~]# docker service create --replicas 6 --name web -p 80:80 nginx
//--replicas: 指定副本数量副本指的也就是容器。
[root@node01 ~]# docker service ls //查看创建的service
ID NAME MODE REPLICAS IMAGE PORTS
wjvpsyhy2igt web replicated 6/6 nginx:latest *:80->80/tcp
[root@node01 ~]# docker service ps web //查看创建的service都运行在那些容器上
ID NAME IMAGE NODE DESIRED STATE CURRENT STATE ERROR PORTS
twhwstaveapg web.1 nginx:latest node03 Running Running 4 minutes ago
xj2ffr7ziyza web.2 nginx:latest node01 Running Running 4 minutes ago
7rjj209wt3bk web.3 nginx:latest node02 Running Running 5 minutes ago
syvhdvk4ci9i web.4 nginx:latest node03 Running Running 4 minutes ago
fmkp3i6276ub web.5 nginx:latest node01 Running Running 4 minutes ago
pn0s1e8qqvmw web.6 nginx:latest node02 Running Running 5 minutes ago
如果现在node02、node03发生宕机时,service并不会因为节点的宕机而死掉,而是自动跑到正常的节点上。
模拟node02宕机,web页面如下:
注:这里需要注意了如果我们“扩容或收缩”就可以发现原来重新启动node02会从新分配到容器,这是因为根据docker swarm自身的算法进行分配的,它会检索你的哪个节点处于健康状态如果是健康的就会重新的分配任务,如果是处于宕机就如上图所说。
五、实现service的扩容、收缩
扩容:就是添加几台service;
收缩:就是减少几台service;
针对上述环境实现收缩、扩容;
(1)service扩容
[root@node01 ~]# docker service scale web=8
web scaled to 8
//从原本的六台容器增加到八台
浏览器验证:
(2)service收缩
[root@node01 ~]# docker service scale web=4
//从原本的八台减少到四台
(3)设置某个node不运行service
可以通过设置,使某台节点不运行service,如下:
[root@node01 ~]# docker node update --availability drain node01
//设置noder01以后不运行容器,但已经运行的容器并不会停止
// --availability:选项后面共有三个选项可配置,如下:
active:工作;pause:暂时不工作;drain:永久性的不工作
[root@node01 ~]# docker node update --availability drain node02
//node02也不参加工作,但已经运行的容器并不会停止
六、搭建registry私有仓库
通过搭建registry私有仓库,可以便于让其他node下载镜像。
搭建私有仓库请参考Docker搭建私有仓库之registry
[root@node01 ~]# docker run -itd --name registry -p 5000:5000 -v /registry:/var/lib/registry --restart=always registry:2
[root@node01 ~]# vim /usr/lib/systemd/system/docker.service
//更改内容为
ExecStart=/usr/bin/dockerd --insecure-registry 192.168.45.129:5000
[root@node01 ~]# systemctl daemon-reload
[root@node01 ~]# systemctl restart docker
[root@node01 ~]# docker ps -a -q | xargs docker start
//由于刚才创建的容器并没有设置自动启动,所以在重启docker服务的时候,需要手动启动
[root@node02 ~]# vim /usr/lib/systemd/system/docker.service
//更改内容为
ExecStart=/usr/bin/dockerd --insecure-registry 192.168.45.129:5000
[root@node02 ~]# systemctl daemon-reload
[root@node02 ~]# systemctl restart docker.service
[root@node03 ~]# vim /usr/lib/systemd/system/docker.service
//更改内容为
ExecStart=/usr/bin/dockerd --insecure-registry 192.168.45.129:5000
[root@node03 ~]# systemctl daemon-reload
[root@node03 ~]# systemctl restart docker.service
//重新启动node02、node03节点的docker服务
[root@node01 ~]# docker pull httpd
[root@node01 ~]# docker tag httpd:latest 192.168.1.1:5000/httpd:latest
[root@node01 ~]# docker push 192.168.1.1:5000/httpd:latest
//将httpd镜像上传到私有仓库中
[root@node02 ~]# curl 192.168.45.129:5000/v2/_catalog //查看私有仓库中的镜像
{"repositories":["httpd"]}
[root@node02 ~]#docker pull 192.168.45.129:5000/httpd
//下载私有库中的httpd镜像
七、service服务版本的升级与回滚
(1)准备环境
[root@node01 ~]# mkdir version{1,2,3,}
[root@node01 ~]# cd version1
[root@node01 version1]# echo "version1" >> index.html
[root@node01 version1]# echo -e "FROM httpd:latest\nADD index.html /usr/local/apache2/htdocs/index.html" > Dockerfile
[root@node01 version1]# docker build -t 192.168.45.129:5000/httpd:v1 .
//version1目录下模拟生成版本v1
[root@node01 version1]# cp Dockerfile ../version2
[root@node01 version1]# cd !$
cd ../version2
[root@node01 version2]# echo "version2" >> index.html
[root@node01 version2]# docker build -t 192.168.45.129:5000/httpd:v2 .
//vesion2目录下模拟生成版本v2
[root@node01 version2]# cp Dockerfile ../version3
[root@node01 version2]# cd !$
cd ../version3
[root@node01 version3]# echo "version3" >> index.html
[root@node01 version3]# docker build -t 192.168.45.129:5000/httpd:v3 .
//vesion3目录下模拟生成版本v3
//注意在主页面做一些区分
[root@node01 ~]# docker push 192.168.45.129:5000/httpd:v1
[root@node01 ~]# docker push 192.168.45.129:5000/httpd:v2
[root@node01 ~]# docker push 192.168.45.129:5000/httpd:v3
//将生成的镜像上传到私有仓库
[root@node01 ~]# docker service create --replicas 3 --name httpd 192.168.45.129:5000/httpd:v1
//基于192.168.45.129:5000/httpd:v1创建三个service副本
注:三个service副本是轮询的方式来服务的
(2)版本升级
默认情况下,swarm一次只更新一个副本,并且两个副本之间并没有等待时间,可以通过以上方法进行设置。
[root@node01 ~]# docker service update --replicas 6 --image 192.168.45.129:5000/httpd:v3 --update-parallelism 2 --update-delay 1m httpd
//--update-parallelism:设置更新的副本数量;
//--update-delay:更新的间隔时间
// --replicas 6:并在升级的过程中另外再创建3个副本
从更新的过程中可以看出效果!
[root@node01 ~]# docker service rollback httpd
//回滚为上一个版本