在技术选型swarm的时候,因为时间紧,任务重,所以选择比较简单的方式完成集群管理.
swarm
我们通过简单的配置实现集群管理,具体的方法可以看参考 主要是通过token的方式.
场景
我们需要创建一个测试用例,假设, 我们提供3个服务,一个是mysql, 一个是hello-world,一个是nginx ,之间存在依赖关系,我们想实现运行compose.yml则运行到两台不同的机器上面,并且能够保障host可以找到彼此.
version: '2'
services:
mysql:
image: mysql
ports:
- "3306:3306"
hello:
image: hello-world
links:
- mysql
nginx:
image: nginx
links:
- hello
我们执行命令docker-compose up
提示信息:
Compose does not use swarm mode to deploy services to multiple nodes in a swarm. All containers will be scheduled on the current node.
To deploy your application across the swarm, use the bundle feature of the Docker experimental build.
More info:
https://docs.docker.com/compose/bundles
what?怎么跟想象中的不一样呢?我们按照提示使用bundle试试.
nsupported key 'links' in services.nginx - ignoring
好吧好吧,重新梳理下,是否compose.yml写的有问题呢?我们通过查看v1,2,3发现,如果 version中关于version2有描述,默认所有的容器都采用默认的network,他们通过服务名作为主机名进行发现.所以,大部分情况下,不需要指定links.那我们重新编写compose.yml.
version: '2'
services:
mysql:
image: mysql
ports:
- "3306:3306"
networks:
- my-network
hello:
image: hello-world
networks:
- my-network
nginx:
image: nginx
networks:
- my-network
networks:
my-network:
driver: bridge
这样好像不行 ,我们参考 swarm-compose 和multi-host network,swarm如果使用compose,则必须在集群中配置一个overlay的driver. 我们创建一个overlay的网络.
docker network create \ --driver overlay \ --subnet 10.0.9.0/24 \ my-network
我们执行bundle查看不支持top-level 的networks 那么我们删除这个根networks配置.没有定义my-network这个网络,崩溃了,崩溃了,有木有有木有.
我们通过node 查看 network docker network ls 确实没有master节点的这个网络,手动创建吧,他还不让, 通过查询资料有两个方案.
创建一个服务
通过执行docker service create --replicas 2 --network my-network --name my-web nginx将会自动创建.这个问题不搜不知道,谷歌一搜发现,好多人在1.12遇到这个问题, 其中有一个用户答复说了这个方案,通过尝试,我们发现确实在node 自动创建了这个网络. but ,当我bundle时候还是提示找不到 泪奔了!!!-
通过使用外部key-value 存储 etcd实现
目前我有三台虚拟机: ip为224,225,226.
因为我的开发环境无法保证docker-machine生成的ip和tls的合法性,所以我选择使用etcd.挑选224作为etcd主机发现,并且作为管理者,255.226作为节点,我们在224上面安装etcd 安装方法 ,安装之后如何使用呢,我们决定先用一台etcd用于主机发现来测试,所以我们参照官方docker的配置方式,进行启动参数的配置,参考,配置如下:
./etcd -name etcd0
-advertise-client-urls http://${HostIP}:2379,http://${HostIP}:4001
-listen-client-urls http://0.0.0.0:2379,http://0.0.0.0:4001
-initial-advertise-peer-urls http://${HostIP}:2380
-listen-peer-urls http://0.0.0.0:2380
-initial-cluster-token etcd-cluster-1
-initial-cluster etcd0=http://${HostIP}:2380
-initial-cluster-state new
在225.226节点执行
docker run -d swarm join --addr=192.168.0.225:2375 etcd://192.168.0.224:2379/swarm
docker run -d swarm join --addr=192.168.0.226:2375 etcd://192.168.0.224:2379/swarm
开启swarm-master
docker run -d -p 3376:3376 -t \
swarm manage
-H 0.0.0.0:3376
etcd://192.168.0.224:2379/swarm
检查下etcd集群
docker run --rm swarm list etcd://192.168.0.224:2379/swarm
检查swarm集群信息
export DOCKER_HOST=192.168.0.224:3376
docker info
一些问题
我在使用过程中出现了 2375不能访问,还有就是,datastore for scope "global" is not initialized ,通过修改所有主机的配置文件 /lib/systemd/system/docker.service 增加了一些配置 -H tcp://0.0.0.0:2375 -H unix:///var/run/docker.sock --cluster-advertise 192.168.0.226:2375 --cluster-store
etcd://192.168.0.224:2379
最终实现了etcd的主机发现.
好了,我们开始测试下 compose.yml , 创建一个overlay网络, binggo!!成功了, compose.yml文件运行,提示nginx 还是找不到网络, 好了好了,配置一个默认网络吧
networks:
default:
external:
name: my-network
通过运行发现mysql需要提供很多环境变量,测试方便,我们删除,使用tomcat,nginx 进行测试 ,links就不写了,因为如果运行成功则,所有的服务名称就是hostname, 之间可以实现访问, 通过3376swarm管理端进行运行,我们发现和我们设想的一样
推荐资料
- docker-etcd
总结
我们通过dockerd 配置 --cluster-store and --cluster-advertise 开启了swarm模式,我们再考虑是否自己理解错了才导致走了这么多弯路,现在回头来整理整理,假如我能够连接到集成的swarm中那么我就可以进行compose服务操作了.查询init中2377端口,怎么连接呢?找不到呀.v.1.12集成了swarm, swarm提供了init,join 操作, 而这只是提供了swarm基础功能, 那么重点就是service, service通过swarm 实现了负载,容错,和快速更新的功能, 这里的service的理解上面可能自己理解错了,我的理解是镜像通过配置启动成为容器,很多个容器构成了一个完成的服务体系, 然而,通过使用发现,这里的服务应该是依镜像为粒度进行的操作.比如,通过镜像配置完成一个容器的,多份容器集群分布就构成了service,所以,基于理解的不同导致了浪费了许多时间, 我们在开发中更倾向于考虑多个服务如何部署到多台电脑上面这个操作.而service更倾向于考虑,如果把单一镜像部署在多个电脑上面, 所以,使用v1.12中提供的swarm为我们提供了单服务的弹性操作, 这里,我们还是使用服务发现,连接到swarm进行更加自定义的部署操作.以后如果需要为某个服务提供弹性操作可能会考虑使用service.好了,文章里充满了血与泪.