docker-compose搭建consul集群解析
文章目录
- 前言
- 一 Docker Compose概述
-
- 1.1 Docker Compose容器编排
- 1.2 Docker Compose配置常用字段
- 1.3 Docker Compose常用命令
- 2.4 Compose命令说明
-
- 2.4.1 基本的使用格式
- 2.4.2 docker-compose选项
- 二 compose部署
-
- 2.1 环境部署所有主机安装docker环境(内容为docker基础)
- 2.2 下载compose（上传docker_compose）
- 2.3 使用dockerfile创建nginx
- 2.4 创建模板脚本
- 三 Consul概述
-
- 3.1 Docker Consul容器服务更新与发现
-
- 3.1.1 解析：
- 四 构建自动发现的Docker服务架构
-
- 4.1 consul部署
-
- 4.1.1 设备配置
- 4.1.2 部署consul服务器
- 4.1.3 查看集群信息
- 4.1.4 通过httpd api 获取集群信息
- 4.1.5 容器服务自动加入consul集群
- 4.1.6 检测8500端口
- 4.1.7 测试服务发现功能是否正常
- 4.1.8 验证 http 和 nginx 服务是否注册到 consul
- 4.1.9 在consul服务器上查看服务
- 4.2 安装 consul-template
-
- 4.2.1 准备 template nginx 模板文件
- 4.3 编译安装nginx
-
- 4.3.1 配置 nginx
- 4.4 配置并启动 template
-
- 4.4.1 另外新打开一个会话终端查看生成配置文件
- 4.5 增加一个nginx容器节点
- 总结
前言
利用docker-compose搭建consul集群，可以实时的监控系统服务中的容器，节点数量变化，实时做出调整，保证系统性能最大化。
一 Docker Compose概述
Docker Compose的前身是Fig。它是一个定义及运行多个（批量部署）Docker容器的工具
使用Docker Compose不再需要使用Shell脚本来启动容器
Docker Compose非常适合组合使用多个容器进行开发的场景
解析：Docker Compose是一个批量创建，运行容器的工具
1.1 Docker Compose容器编排
YAML是一种标记语言很直观的数据序列化格式
文件格式即编写注意事项
不支持表符tab键缩进，需要使用空格缩进
通常开头缩进2个空格
字符后缩进1个空格，如冒号，逗号，横杆
用#号注释
如果包含特殊字符用单引号引起来
布尔值必须用引号括起来
格式
多行缩进
数据结构可以用类似大纲的缩排方式呈现，结构通过缩进表示，连续的项目通过减号“-”来表示，map结构里面的key/value对用冒号“：”来分隔。
1.2 Docker Compose配置常用字段
字段 描述
build dockerfile context 指定Dockerfile文件名构建镜像上下文路径
image 指定镜像
command 执行命令，覆盖默认命令
container name 指定容器名称，由于容器名称是唯一-的， 如果指定自定义名称，则无法scale（建立副本）
deploy 指定部署和运行服务相关配置,只能在Swarm模式使用
environment 添加环境变量
networks 加入网络 （名称空间）
ports 暴露容器端口，与-p相同，但端口不能低于60
volumes 挂载宿主机路径或命令卷（数据卷）
restart 重启策略，默认no（失败，不会继续操作）,always（失败，一直尝试重启，直到运行成功）, no-failure,unless-stoped
hostname 容器主机名
1.3 Docker Compose常用命令
字段 描述
build 重新构建服务
ps 列出容器
up 创建和启动容器
exec 在容器里面执行命令
scale 指定一个服务容器启动数量
top 显示容器进程
logs 查看容器输出
down 删除容器、网络、数据卷和镜像
stop/start/restart 停止/启动/重启服务
2.4 Compose命令说明
2.4.1 基本的使用格式
docker-compose [options] [COMMAND] [ARGS...]
2.4.2 docker-compose选项
--verbose 输出更多调试信息
--version打印版本并退出
-f,--file FILE 使用特定的compose模板文件，默认为docker-compose.yml
-p,--project-name NAME指定项目名称，默认使用目录名称
二 compose部署
2.1 环境部署所有主机安装docker环境(内容为docker基础)
yum install docker-ce -y
2.2 下载compose（上传docker_compose）
[root@server1 ~]# docker ps -a
[root@server1 ~]# ls
[root@server1 ~]# cp -p docker-compose /usr/bin
[root@server1 ~]# cd /usr/bin/
[root@server1 bin]# ls
[root@server1 bin]# chmod +x docker-compose
[root@server1 bin]# cd
[root@server1 ~]#
[root@server1 ~]# mkdir compose_nginx
[root@server1 ~]# yum -y install tree
2.3 使用dockerfile创建nginx
[root@server1 ~]# cd compose_nginx/
[root@server1 compose_nginx]# mkdir nginx
[root@server1 compose_nginx]# cd nginx/
[root@server1 nginx]# vim Dockerfile
FROM centos:7
MAINTAINER this is nginx
RUN yum -y update
RUN yum -y install pcre-devel zlib-devel gcc gcc-c++ make
RUN useradd -M -s /sbin/nologin nginx
ADD nginx-1.12.0.tar.gz /usr/local/src
WORKDIR /usr/local/src
WORKDIR nginx-1.12.0
RUN ./configure \
--prefix=/usr/local/nginx \
--user=nginx \
--group=nginx \
--with-http_stub_status_module && make && make install
ENV PATH /usr/local/nginx/sbin:$PATH
EXPOSE 80
EXPOSE 443
RUN echo "daemon off;">>/usr/local/nginx/conf/nginx.conf
ADD run.sh /run.sh
RUN chmod 755 /run.sh
CMD ["/run.sh"]
[root@server1 compose_nginx]# vim run.sh
#!/bin/bash
/usr/local/nginx/sbin/nginx
[root@server1 compose_nginx]# mkdir wr
[root@server1 compose_nginx]# cd wr/
[root@server1 wr]# vim index.html
[root@server1 compose_nginx]# tree
.
├── nginx
│ ├── Dockerfile 创建容器脚本
│ ├── nginx-1.12.0.tar.gz 复制源码包
│ └── run.sh 启动服务脚本
└── wr
└── index.html 站点
2.4 创建模板脚本
[root@server1 compose_nginx]# vim docker-compose.yaml
[root@server1 compose_nginx]# docker-compose -f docker-compose.yaml up -d
-d：守护进程
version: '3'
services:
nginx:
hostname: nginx
build:
context: ./nginx
dockerfile: Dockerfile
ports:
- 1234:80
- 1235:443
networks:
- cluster
volumes:
- ./wr:/usr/local/nginx/html
networks:
cluster:
[root@server1 compose_nginx]# docker images
[root@server1 compose_nginx]# docker ps -a
在浏览器上访问http://20.0.0.0:1234
三 Consul概述
Consul是HashiCorp公司推出的开源工具，用于实现分布式系统的服务发现与配置
Consul的特性
支持健康检查，允许存储键值对
基于Golong语言，可移植性强
支持ACL访问控制
与Docker等轻量级容器可无缝配合
3.1 Docker Consul容器服务更新与发现
容器服务更新与发现拓扑图
3.1.1 解析：
consul server定义，读取前端的配置模板后端的客户端部署registrator去监听本地集群是否出现扩展，如果出现扩展容器，会报告给consul server端，由consul agent代理去指定更新(前端的反向代理池)到模板文件中并同步到前端，保证前端对后端的动态识别。
四 构建自动发现的Docker服务架构
建立Consul服务
每个提供服务的节点上都要部署和运行Consul的agent
Consul agent有两种运行模式
Server
Client
Server和Client只是Consul集群层面的区分，与搭建在Cluster之上的应用服务无关
4.1 consul部署
4.1.1 设备配置
服务器：20.0.0.10 Docker-ce、 Compose 3、Consul、 Consul-template
服务器：20.0.0.11 Docker-ce、registrator
template 模板（更新）
registrator（自动发现）
后端每构建出一个容器，会向registrator进行注册，控制consul 完成更新操作，consul会触发consul template模板进行个更新
核心机制：consul ：自动发现、自动更新，为容器提供服务（添加、删除、生命周期）
4.1.2 部署consul服务器
[root@server1 ~]# mkdir consul
[root@server1 ~]# cd consul/
上传压缩包
[root@server1 consul]# unzip consul_0.9.2_linux_amd64.zip 解压缩
[root@server1 consul]# ls
[root@server1 consul]# mv consul /usr/bin/
[root@server1 consul]# ll /usr/bin | grep consul
consul agent \
-server \ 服务端
-bootstrap \ 前端框架
-ui \ 可被访问的web界面
-data-dir=/var/lib/consul-data \
-bind=20.0.0.10 \
-client=0.0.0.0 \
-node=consul-server01 &> /var/log/consul.log & 混合输出并后台运行
4.1.3 查看集群信息
[root@server1 consul]# jobs 查看状态
[root@server1 consul]# consul members
[root@server1 consul]# consul info | grep leader
4.1.4 通过httpd api 获取集群信息
curl 127.0.0.1:8500/v1/status/peers 查看集群server成员
curl 127.0.0.1:8500/v1/status/leader 集群 Raf leader
curl 127.0.0.1:8500/v1/catalog/services 注册的所有服务
curl 127.0.0.1:8500/v1/catalog/nginx 查看 nginx 服务信息
[root@server1 consul]# curl 127.0.0.1:8500/v1/catalog/nodes 集群节点详细信息
4.1.5 容器服务自动加入consul集群
1. 安装 Gliderlabs/Registrator Gliderlabs/Registrator
可检查容器运行状态自动注册，还可注销 docker 容器的服务 到服务配置中心。
目前支持 Consul、Etcd 和 SkyDNS2
在20.0.0.11 节点，执行以下操作：
[root@server2 ~]# docker run -d \
> --name=registrator \ 名称
> --net=host \
> -v /var/run/docker.sock:/tmp/docker.sock \ 挂载
> --restart=always \ 重启策略永远
> gliderlabs/registrator:latest \
> -ip=20.0.0.11 \
> consul://20.0.0.10:8500
[root@server2 ~]# docker images
[root@server2 ~]# docker ps -a
4.1.6 检测8500端口
[root@server1 consul]# netstat -natp
[root@server1 consul]# netstat -natp | grep 8500
4.1.7 测试服务发现功能是否正常
docker run -itd -p:112:80 --name test-02 -h test02 nginx
docker run -itd -p:113:80 --name test-03 -h test03 httpd
docker run -itd -p:114:80 --name test-04 -h test04 httpd
4.1.8 验证 http 和 nginx 服务是否注册到 consul
浏览器输入 http://20.0.0.10:8500，“单击 NODES”，然后单击 “consurl-server01”，会出现 4 个服务
4.1.9 在consul服务器上查看服务
[root@server1 consul]# curl 127.0.0.1:8500/v1/catalog/services
{
"compose_nginx_nginx-443":[],"compose_nginx_nginx-80":[],"consul":[],"httpd":[],"nginx":[]}[root@server1 consul]#
4.2 安装 consul-template
Consul-Template 是一个守护进程，用于实时查询 Consul 集群信息，
并更新文件系统 上任意数量的指定模板，生成配置文件。更新完成以后，
可以选择运行 shell 命令执行更新 操作，重新加载 Nginx。Consul-Template
可以查询 Consul 中的服务目录、Key、Key-values 等。
这种强大的抽象功能和查询语言模板可以使 Consul-Template 特别适合动态的创建配置文件。
例如：创建 Apache/Nginx Proxy Balancers、Haproxy Backends
4.2.1 准备 template nginx 模板文件
在consul上操作
vim /root/consul/nginx.ctmpl
upstream http_backend {
{
{
range service "nginx"}} 双括号表示范围
server {
{
.Address}}:{
{
.Port}}; 此处引用的变量会指向后端的地址和端口（动态变化）
{
{
end}}
}
server {
listen 112;
server_name localhost 20.0.0.10; 反向代理的IP地址
access_log /var/log/nginx/kgc.cn-access.log;
index index.html index.php;
location / {
proxy_set_header HOST $host;
proxy_set_header X-Real-IP $remote_addr; 后端真实IP
proxy_set_header Client-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; 转发地址
proxy_pass http://http_backend; 反向代理
}
}
4.3 编译安装nginx
[root@server1 consul]# vim nginx.ctmpl
上传nginx-1.12.0.tar.gz
[root@server1 consul]# ls
[root@server1 consul]# yum install gcc pcre-devel zlib-devel -y
[root@server1 consul]# cd
[root@server1 ~]# cd compose_nginx/
[root@server1 compose_nginx]# ls
[root@server1 compose_nginx]# cd nginx/
[root@server1 nginx]# ls
[root@server1 nginx]# tar zxvf nginx-1.12.0.tar.gz -C /opt
[root@server1 nginx]# cd /opt/
[root@server1 opt]# ls
containerd nginx-1.12.0 rh
[root@server1 opt]# cd nginx-1.12.0/
[root@server1 nginx-1.12.0]# ./configure --prefix=/usr/local/nginx
[root@server1 nginx-1.12.0]# make && make install
4.3.1 配置 nginx
[root@server1 nginx-1.12.0]# cd /usr/local/nginx/conf/
[root@server1 conf]# ls
[root@server1 conf]# vim nginx.conf
[root@server1 conf]# ls
[root@server1 conf]# mkdir /usr/local/nginx/conf/vhost 创建虚拟主机目录
[root@server1 conf]# mkdir /var/log/nginx 创建日志文件目录
[root@server1 conf]# /usr/local/nginx/sbin/nginx 启动nginx
http {
include mime.types;
include vhost/*.conf; 添加虚拟主机目录（consul动态生成的配置文件就会放在这里）可识别vhost文件中所有的.conf文件，兼容子配置文件
default_type application/octet-stream;
4.4 配置并启动 template
上传 consul-template_0.19.3_linux_amd64.zip 包到/root 目录下
[root@server1 ~]# ls
[root@server1 ~]# unzip consul-template_0.19.3_linux_amd64.zip
[root@server1 ~]# ls
[root@server1 ~]# mv consul-template /usr/bin/
[root@server1 ~]# cd /usr/local/nginx/conf/
[root@server1 conf]# ls
[root@server1 conf]# cd vhost/
[root@server1 vhost]# consul-template -consul-addr 20.0.0.10:8500 \
> -template "/root/consul/nginx.ctmpl:/usr/local/nginx/conf/vhost/kgc.conf:/usr/local/nginx/sbin/nginx -s reload" \
4.4.1 另外新打开一个会话终端查看生成配置文件
[root@server1 ~]# cd /usr/local/nginx/conf/
[root@server1 conf]# ls
[root@server1 conf]# cd vhost/
[root@server1 vhost]# ls
[root@server1 vhost]# vi kgc.conf
4.5 增加一个nginx容器节点
增加一个 nginx 容器节点，测试服务发现及配置更新功能
在registrator服务端注册
[root@server2 ~]# docker run -itd -p:115:80 --name test-05 -h test05 nginx
[root@server2 ~]# docker run -itd -p:116:80 --name test-06 -h test06 nginx
在consul服务器监控装填会有提示自动更新
总结
Consul功能解析：
consul server定义，读取前端的配置模板后端的客户端部署registrator去监听本地集群是否出现扩展，如果出现扩展容器，会报告给consul server端，由consul agent代理去指定更新(前端的反向代理池)到模板文件中并同步到前端，保证前端对后端的动态识别。