docker-compose和Consul
docker-compose自动编排
- 1. 案例概述
-
- 1.1 案例前置知识点
-
- 1.1.1 Docker Compose
- 1.1.2 Consul
- 2. Docker的网络通信
-
- 2.1 端口映射
- 2.2 容器互联
- 3. Docker Compose容器编排
-
- 3.1 Docker Compose环境安装
- 3.2 YAML
- 3.3 Docker Compose配置常用字段
- 3.4 Docker Compose常用命令
- 3.5 Compose命令说明
- 4. 构建自动发现的Docker服务架构
-
- 4.1 建立Consul服务
- 4.2 查看集群信息
- 5. 实现容器服务自动加入Nginx集群
-
- 5.1 安装gliderlabs/registrator
- 5.2 测试服务发现功能是否正常
- 6. 实验步骤
- 7. 错题集
1. 案例概述
某公司提出一个新需求，使用Docker将Consul、Consul Template、Registrator和 Nginx组装成一个值得信任且可扩展的服务框架，可在这个框架中添加和移除服务，不需要重写任何配置，也不需要重启任何服务，一切都能正常运行
1.1 案例前置知识点
1.1.1 Docker Compose
Docker Compose的前身是Fig,它是一个定义及运行多个Docker容器的工具
使用Docker Compose不再需要使用Shell脚本来启动容器
Docker Compose非常适合组合使用多个容器进行开发的场景
1.1.2 Consul
Consul是HashiCorp公司推出的开源工具，用于实现分布式系统的服务发现与配置
Consul的特性
●支持健康检查，允许存储键值对
●基于Golong语言，可移植性强
●支持ACL访问控制
与Docker等轻量级容器可无缝配合
注意点：内部网络是docker网桥 docker0相当于交换机
2. Docker的网络通信
2.1 端口映射
●端口映射机制将容器内的服务提供给外部网络访问
●可随机或指定映射端口范围
docker run -d -P httpd:centos
docker run -d -p 49888:80 httpd:centos2.2 容器互联
●在源容器和接收容器间建立一条网络通信隧道
●使用docker run命令–link选项实现容器间互联通信
实现容器互联
docker run -d -P --name web1 httpd:centos
docker run -d -P --name web2 --link web1:web1
httpd:centos
docker exec -it web2 /bin/bash
ping web13. Docker Compose容器编排
3.1 Docker Compose环境安装
[root@localhost ~]# curl -L
https://github.com/docker/compose/releases/download/1.21.1/docker-compose-`uname -s`-`uname -m`-o
/usr/local/bin/docker-compose
[root@localhost ~]# chmod +x /usr/local/bin/docker-compose
[root@localhost ~]# docker-compose -v
Docker Compose文件结构
[root@localhost compose_Inmp]# vim docker-compose.yml3.2 YAML
YAML是一种标记语言很直观的数据序列化格式
文件格式及编写注意事项
●不支持制表符tab键缩进，需要使用空格缩进
●通常开头缩进2个空格
●字符后缩进1个空格，如冒号、逗号、横杆
●用#号注释
●如果包含特殊字符用单引号引起来
●布尔值必须用引号括起来 ture真：成立 false假：不成立 boolean 要么true要么false
3.3 Docker Compose配置常用字段
| 字段 | 描述 |
|---|---|
| build dockerfile context | 指定Dockerfile文件名构建镜像上下文路径 |
| image | 指定镜像 |
| command | 执行命令，覆盖默认命令 |
| container name | 指定容器名称，由于容器名称是唯一的，如果指定自定义名称，则无法scale |
| deploy | 指定部署和运行服务相关配置，只能在Swarm模式使用 |
| environment | 添加环境变量 |
| networks | 加入网络 |
| ports | 暴露容器端口，与-p相同，但端口不能低于60 |
| volumes | 挂载宿主机路径或命令卷 |
| restart | 重启策略，默认no,always,no-failure,unless-stoped |
| hostname | 容器主机名 |
3.4 Docker Compose常用命令
| 字段 | 描述 |
|---|---|
| build | 重新构建服务 |
| ps | 列出容器 |
| up | 创建和启动容器 |
| exec | 在容器里面执行命令 |
| scale | 指定一个服务容器启动数量 |
| top | 显示容器进程 |
| logs | 查看容器输出 |
| down | 删除容器、网络、数据卷和镜像 |
stop/start/restart 停止/启动/重启服务
3.5 Compose命令说明
■基本的使用格式
docker-compose [options] [COMMAND][ARGS...]■docker-compose选项
●–verbose输出更多调试信息
●–version打印版本并退出
●-f，–file FILE使用特定的compose模板文件，默认为docker-compose.yml
●-p,–project-name NAME指定项目名称，默认使用目录名称
4. 构建自动发现的Docker服务架构
4.1 建立Consul服务
●每个提供服务的节点上都要部署和运行Consul的agent
Consul agent有两种运行模式
Server
Client
Server和Client只是Consul集群层面的区分，与搭建在
Cluster之上的应用服务无关
[root@localhost ~]# cd consul/
[root@localhost consul]# unzip consul_0.9.2_linux_amd64.zip
[root@localhost consul]# mv consul /usr/binl
[root@localhost ~]# consul agent \
> -server \
> -bootstrap \
> -ui \
> -data-dir=/var/liblconsul-data
> -bind=192.168.168.91 \
>-client=0.0.0.0 \
>-node=consurl-server014.2 查看集群信息
[root@localhost ~]# consul members
[root@localhost ~]# consul info | grep leader
通过http api获取集群信息
[root@localhost ~]# curl 127.0.0.1:8500/v1/status/peers
[root@localhost ~]# curl 127.0.0.1:8500/v1/status/leader
[root@localhost ~]# curl 127.0.0.1:8500/v1/catalog/services
[root@localhost ~j# curl 127.0.0.1:8500/v1/catalog/nginx
[root@localhost ~]# curl 127.0.0.1:8500/v1/catalog/nodes5. 实现容器服务自动加入Nginx集群
5.1 安装gliderlabs/registrator
●检查容器运行状态
●自动注册和注销docker容器的服务到服务配置中心
在192.168.168.92节点操作
[root@localhost ~]# docker run -d \
> --name=registrator \
>--net=host \
> -v /var/run/docker.sock:/tmp/docker.sock \
>--restart=always \
> gliderlabs/registrator:latest \
>-ip=192.168.168.92\
>consul://192.168.168.91:8500
consul的服务端口是85005.2 测试服务发现功能是否正常
[root@localhost ~]# docker pull httpd
[root@localhost ~j# docker run -itd -p:83:80 --name test-O1 -htest01 nginx
[root@localhost ~]# docker run -itd -p:84:80 --name test-02 -htest02 nginx验证http服务是否注册到consul
6. 实验步骤
创建Dockerfile目录
1.在目录中写Dockerfile文件
2.把Dockerfile文件中add部分涉及到的文件添加到dockerfile目录中
3.编写yaml文件
4.如果涉及到数据卷，则需要在数据卷目录中放入指定文件
5.docker-compose编排构建
6.使用docker ps -a 检查容器云运行状态
-----------------------------compose部署nginx---------------------
环境部署所有主机安装docker环境（内容为docker基础）
yum -y install docker-ce-y
//下载compose
curl -L https://github.com/docker/compose/releases/download/1.21.1/docker-compose-`uname -s`-`uname -m` -o /usr/local/bin/docker-compose
将docker-compose放进根目录下面
[root@localhost ~]# mv docker-compose /usr/local/bin/ ##系统可识别，全局可使用
[root@localhost ~]# chmod +x /usr/local/bin/docker-compose ##授权执行权限
[root@localhost ~]# cd compose_nginx/
[root@localhost compose_nginx ~]# mkdir nginx
[root@localhost compose_nginx ~]# cd nginx
[root@localhost nginx ~]# vim Dockerfile
FROM centos:7
MAINTAINER chen
RUN yum -y update
RUN yum -y install gcc gcc-c++ make pcre-devel zlib-devel ##安装环境
RUN useradd -M -s /sbin/nologin nginx ##创建程序账户
ADD nginx-1.15.9.tar.gz /opt ###不仅能把压缩包解压，还能将压缩的内容一定到指定容器内的目录中
WORKDIR /opt ##相当于cd 到opt 目录下
WORKDIR nginx-1.15.9
RUN ./configure \
--prefix=/usr/local/nginx \ ##配置文件目录
--user=nginx \ ##主用户
--group=nginx \ ##组用户
--with-http_stub_status_module && make && make install ##编译安装
ENV PATH /usr/local/nginx/sbin:$PATH ##环境变量
EXPOSE 80 ##http的端口
EXPOSE 443 ###https的端口
RUN echo "daemon off;" >> /usr/local/nginx/conf/nginx.conf ##守护服务要关闭，由容器本身提供
ADD run.sh /run.sh ##移动run.sh到容器中
RUN chmod 755 /run.sh ##给权限
CMD ["/run.sh"] ##脚本启动时运行这个脚本
[root@localhost nginx ~]# vim run.sh
[root@localhost nginx]# vim run.sh
#!/bin/bash
/usr/local/nginx/sbin/nginx ##绝对路径启动nginx
最后将nginx-1.15.9.tar.gz压缩包放进nginx目录中
[root@localhost nginx ~]# cd .. ##回到上一层目录中
[root@localhost compose_nginx]# vim docker-compose.yml ##编辑compose部署
version: '3'
services:
nginx: ###services:下面的子项，要缩进
hostname: nginx ###节点主机名称
build: ##创建
context: ./nginx ##详细内容 具体内容放在哪里
dockerfile: Dockerfile ##dockerfile文件中找Dockerfile
ports: ##涉及子参数 下面加- 后面又空格
- 1216:80 ##http端口 映射
- 1217:443 ##https端口
networks: ##网络空间，内部的
- chen ##名字自定义
volumes: ###数据卷
- ./wwwroot:/usr/local/nginx/html ##挂载
networks: ##节点网络名称
chen:
注意点：固定语法，功能项后面的： 要带空格
参数数值 不需要加空格
[root@localhost compose_nginx]# docker-compose -f docker-compose.yml up -d ##执行compose编排构建
[root@localhost compose_nginx]# ll
total 4
-rw-r--r--. 1 root root 256 Nov 13 02:45 docker-compose.yml
drwxr-xr-x. 2 root root 65 Nov 13 01:03 nginx
drwxr-xr-x. 2 root root 6 Nov 13 01:04 wwwroot ###挂载目录
测试：
登录：http://20.0.0.16:1216/ 会显示403 Forbidden
nginx/1.15.9 ##nginx服务是开启的，只是我们没有做首页而已
[root@localhost compose_nginx]# cd wwwroot/
[root@localhost wwwroot]# vim index.html
<h1>this is wangba</h1>
再次登录：http://20.0.0.16:1216/ 会显示：this is wangba--------------------consul服务器部署--------------------------
mkdir consul
cd consul/
把consul_0.9.2_linux_amd64包上传到此目录
unzip consul_0.9.2_linux_amd64.zip ##解压
mv consul /usr/bin/ ##让系统所能识别命令
consul agentr \ //使用agentr代理功能
-server \ //指定sever
-bootstrap \ //参与选举为领袖
-ui \ //提供web访问页面
-data-dir=/var/lib/consul-data \ //参数存储位置
-bind=20.0.0.21 \ //绑定地址（本地地址）
-client=0.0.0.0 \ //client所有节点终端
-node=consul-server01 & > /var/log/consul.log & //node=consul-server01 是本地节点名称，不管对的错的 有日志产生就混合输出到/var/log/consul.log下，& 放到后台运行查看集群信息
[root@localhost consul]# consul members
[root@localhost consul]# consul info | grep leader //过滤leader（老大）是谁
leader = true
leader_addr = 20.0.0.16:8300通过httpd api 获取集群信息
curl 127.0.0.1:8500/v1/status/peers //查看集群server成员
curl 127.0.0.1:8500/v1/status/leader //集群 Raf leader
curl 127.0.0.1:8500/v1/catalog/services //注册的所有服务
curl 127.0.0.1:8500/v1/catalog/services //查看nginx服务信息
curl 127.0.0.1:8500/v1/catalog/nodes //集群节点详细信息------做到这里，只能这条能查询使用！------------在20.0.0.15服务设置nginx集群-----------
安装Glider labs/Registrator Glider labs/Registrator
可检查容器运行状态自动注册，还可注销docker容器的服务到服务配置中心。
目前支持 Consul、Etcd 和 SkyDNS2。
在 20.0.0.20 节点，执行以下操作:
docker run -d \
--name=registrator \ //指定容器名称
--net=host \ //指定host网络
-v /var/run/docker.sock:/tmp/docker.sock \ //指定数据卷
--restart=always \ //restart功能
gliderlabs/registrator:latest \ //指定从哪个镜像进行加载
-ip=20.0.0.20 \ //指定本地ip地址
consul://20.0.0.21:8500 //指定对方ip地址创建四个测试容器
用docker run -itd 指定端口 指定名称test-01 名称指定test01容器名称 nginx镜像
一二两行可以复制一起执行，然后在复制三四两行一起执行！！！
docker run -itd -p:83:80 --name test-01 -h test01 nginx
docker run -itd -p:84:80 --name test-02 -h test02 nginx
docker run -itd -p:88:80 --name test-03 -h test03 httpd
docker run -itd -p:89:80 --name test-04 -h test04 httpd验证http 和nginx 服务是否注册到 consul
浏览器输入 20.0.0.16:8500 ，单机 NODES ，然后单机 consurl-server01，会出现5个服务---------部署compose template---------------
服务器20.0.0.16上面的操作
准备template nginx模板文件
这个模板的作用实现配置文件的实时更新
vim /root/consul/nginx.ctmpl
#http_backend（是服务器池子的名称）
upstream http_backend { ###四层转发 lvs只能做四层转发 nginx能做四层也能做七层
{{range service "nginx"}}
server {{.Address}}:{{.Port}};
{{end}}
}
上面代码的解释：这个模板当中先声明了后端服务器池(也就是上面五行代码)，这个后端服务器池引用了两个变量，一个是Address、一个是Port，分别读取node节点20.0.0.20ip地址和20.0.0.20的端口83、84，两个信息就会被加载过来，生成两条server条目（开几条nginx就会加载几条）
server {
listen 1216; //监听端口，也是代理端口，提供给客户端的。映射的是容器的外端口
server_name localhost 192.168.195.129; //指定本地地址，监听地址
access_log /var/ log/nginx/zk.cn-access.log; //日志文件所在位置
index index.html index.php; //首页类型
location / {
proxy _set_header HOST $host; //proxy(代理、跳转)，header(头部信息)，主机
proxy_set_header X-Real-IP $remote_addr; //后端服务器ip
proxy_set_header Client-IP $remote_addr; //客户端ip
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; //跳转的地址 地址路径
proxy _pass http://http_backend; //http协议开头，后面是http_backend（服务器池子名称）地址
} ##反向解析模块 通过http转发定义在http_backend
}编译安装nginx
安装环境依赖包
yum -y install gcc gcc-c++ make pcre-devel zlib-devel perl
gcc编译器
gcc-c++编译器
make工具
pcre-devel支持正则表达式的工具
zlib-devel压缩工具
perl语言工具
把nginx包上传上来
tar zxvf nginx-1.15.9.tar.gz -C /opt/ //解压
cd /opt/nginx-1.15.9/
./configure --prefix=/usr/local/nginx //指定安装目录
make && make install //编译安装
vim /usr/local/nginx/conf/nginx.conf //nginx主配置文件
写在http字段当中添加
include vhost/*.conf; //指定vhost路径
cd /usr/local/nginx/conf/
mkdir vhost //上面主配置指定了路径，在这创建一个vhost
mkdir /var/log/nginx //生成的日志路径。刚刚配置里的路径，需要手动创一个nginx目录
ln -s /usr/local/nginx/sbin/nginx /usr/local/sbin/ //让系统所能识别nginx命令
nginx //启动nginx
[root@localhost log]# netstat -anpt | grep nginx //查看nginx启动了没配置并启动 template
cd //cd到root家目录
unzip consul-template_0.19.3_linux_amd64.zip //解压
mv consul-template /usr/bin/ //系统所能识别
启用模板
consul-template -consul-addr 20.0.0.16:8500 \ //指定本地ip地址
-template "/root/consul/nginx.ctmpl:/usr/local/nginx/conf/vhost/zk.conf:/usr/local/nginx/sbin/nginx -s reload" \ // /root/consul/nginx.ctmpl模板路径产生出zk.conf配置文件，重载配置文件
--log-level=info //日志定义 info级别
cd /usr/local/nginx/conf/vhost/ ##里面会自动生成一个zk.conf配置文件，可以vim进去看看
docker ps -a //查看一下容器
docker stop d4cd7c98554 //把刚刚那个容器关闭掉。冲突了
/usr/local/nginx/sbin/nginx -s reload //重启一下服务
浏览器输入：20.0.016:1216 就可以看见nginx网站测试
增加一个 nginx 容器节点,测试服务发现及配置更新功能
//在registrator服务端注册
docker run -itd -p:85:80 --name test-05 -h test05 nginx //创建一个容器
这个时候20.0.0.21服务器就会监控自动更新了，更新的是zk.conf
去20.0.0.21里面vim zk.conf 就能看见更新了ip
//查看三台nginx容器日志，请求正常轮询到各个容器节点上（20.0.0.20服务器查看）
docker logs -f test-01 //就能看见谁访问的我！
docker logs -f test-02
docker logs -f test-05--------consul多节点-----------
添加一台已有docker环境的服务器20.0.0.20加入已有的群集中
把consul_0.9.2_linux_amd64包传上去
unzip consul_0.9.2_linux_amd64.zip
mv consul /usr/bin/ //系统所能识别命令
consul agent \
-server \
-bootstrap \
-ui \
-data-dir=/var/lib/consul-data \
-bind=20.0.0.22 \
-client=0.0.0.0 \
-node=consul-server02 \ //节点名称server02
-enable-script-checks=true \ //开启服务检查
-datacenter=dc1 \ //数据中心名称
-join 20.0.0.16 &> /var/log/consul.log & //添加到已有的集群当中
-enable-script-checks=true：设置检查服务为可用
-datacenter：数据中心名称
-join：加入到已有的集群中测试：
浏览器输入http://20.0.0.21:8500/，NODES里面就有server027. 错题集
启动docker时报错如下
docker: Error response from daemon: driver failed programming external connectivity on endpoint loving_bassi (37b4c399f676cf46e35fd26b2298ad81aac87739d8aee416f449e36c6cb22503): (iptables failed: iptables --wait -t nat -A DOCKER -p tcp -d 0/0 --dport 90 -j DNAT --to-destination 172.17.0.2:80 ! -i docker0: iptables: No chain/target/match by that name.
解决方法：
Bash
# pkill docker
# iptables -t nat -F
# ifconfig docker0 down
# brctl delbr docker0
# service docker restart