Docker容器----容器编排理论+实例~
文章目录
- 前言：
- 一、Docker Compose简介
- 二、Docker compose配置信息
- 三、Dokcer 编排实验
- 3.1 下载compose
- 3.2 构建Nginx
- 四、Consul 容器自动更新与发现
- 4.1 Consul简介
- 4.2 Consul中的基本概念
- 4.3 Consul 原理概述
- 4.3.1 Consul 核心 agent组件
- 4.3.2 Consul 通信接口
- 4.3.3 Consul 去中心化思想
- 4.4 搭建Consul集群实验
- 4.4.1 实验环境
- 4.4.2 配置 consul服务器
- 4.4.3 后端服务器配置
- 4.5 实现容器服务自动加入Nginx集群
- 4.5.1 Consul-template简介
- 4.5.2 配置过程
- 4.5.3 准备 Template nginx模板文件
- 4.5.4 手工编译安装nginx服务
- 4.5.5 配置、启动Template
- 4.6 测试
- 总结：
前言：
一个大型的Docker组成的微服务应用中，容器的数量是非常庞大的，如果依赖传统的人工配置方式进行维护，对于开发和运维来说简直就是噩梦。Compose的出现正是为了解决这个问题。
一、Docker Compose简介
-
Docker Compose的前身是Fig，Fig被Docker收购之后正式更名为Compose，Compose向下兼容Fig
-
Docker Compose是一个用于定义和运行多容器Docker应用的工具，只需要一个Compose的配置文件和一个简单的命令就可以创建并运行应用所需的所有容器，而不再需要使用shell脚本来启动容器
-
Docker Compose 非常适合组合使用多个容器进行开发的场景
-
Docker Compose 的文件结构：
- vim docker-compose.yml
-
YAML 是一种标记语言很直观的数据序列化格式。 文件格式及编写注意事项如下所示：
- ① 不支持制表符Tab 建缩进，需要使用空格缩进
- ② 通常开头缩进2个空格
- ③ 字符后缩进1个空格，如：冒号，逗号，横杆
- ④ 用井号注释
- ⑤ 如果包含特殊字符用单引号引起来
- ⑥ 布尔值必须用单引号括起来
Docker compose 使用的三个步骤：
- ① 使用Dokcerfile 定义应用程序的环境
- ② 使用docker-compose.yml 定义构成应用程序的服务，这样它们就可以再隔离环境中一起运行
- ③ 最后执行 docker-compose up 命令来启动并运行整个应用程序
二、Docker compose配置信息
- Docker compose 配置常用字段
-
Dokcer compose 常用命令
-
Docker compose 命令参数详解
docker-compose 选项
- –verbose 输出更多调试信息
- –version 打印版本并退出
- -f，–file FILE 使用特定的compose 模板文件，默认位docker-compose.yml
- -p，–project-name NAME 指定项目名称，默认使用目录名称
三、Dokcer 编排实验
- 本次实验构建Nginx，使用的centos7 IP地址为192.168.226.132
3.1 下载compose
curl -L https://github.com/docker/compose/releases/download/1.21.1/docker-compose-`uname -s`-`uname -m` -o /usr/local/bin/docker-compose- 环境设置
[root@localhost ~]# chmod 755 docker-compose
[root@localhost ~]# cp -p docker-compose /usr/local/bin/
[root@localhost ~]# docker-compose --version
docker-compose version 1.21.1, build 5a3f1a3
3.2 构建Nginx
- 创建工作目录，将nginx软件包拷贝到该目录
[root@localhost ~]# mkdir compose_nginx
[root@localhost ~]# cd compose_nginx/
[root@localhost compose_nginx]# mkdir nginx
[root@localhost compose_nginx]# cd nginx/
[root@localhost nginx]# ls
nginx-1.12.2.tar.gz
[root@localhost nginx]# vim run.sh
#启动脚本
#!/bin/bash
/usr/local/nginx/sbin/nginx- 编写Dockerfile
[root@localhost nginx]# vim Dockerfile
Dockerfile nginx-1.12.2.tar.gz run.sh wwwroot
FROM centos:7
MAINTAINER this is nginx image
RUN yum -y update
RUN yum -y install gcc gcc-c++ pcre-devel zlib-devel make
RUN useradd -M -s /sbin/nologin nginx
ADD nginx-1.12.2.tar.gz /usr/local/src
WORKDIR /usr/local/src/nginx-1.12.2
RUN ./configure \
--prefix=/usr/local/nginx \
--user=nginx \
--group=nginx \
--with-http_stub_status_module && make && make install
ENV PATH /usr/local/nginx/sbin:$PATH
EXPOSE 80
EXPOSE 443
RUN echo "daemon off;" >> /usr/local/nginx/conf/nginx.conf
ADD run.sh /run.sh
RUN chmod 755 /run.sh
CMD ["/run.sh"]
-----------》wq- 编写nginx首页
[root@localhost compose_nginx]# mkdir wwwroot
[root@localhost compose_nginx]# cd wwwroot/
[root@localhost wwwroot]# vim index.html
this is test web
- 编写yml文件
[root@localhost compose_nginx]# vim docker-compose.yml
version: '3'
services:
nginx:
hostname: nginx
build:
context: ./nginx
dockerfile: Dockerfile
ports:
- 1216:80
- 1217:443
networks:
- cluster
volumes:
- ./wwwroot:/usr/local/nginx/html
networks:
cluster:
-----》wq- 构建镜像
[root@localhost compose_nginx]# docker-compose -f docker-compose.yml up -d
- 查看容器、使用浏览器访问测试
[root@localhost wwwroot]# docker ps -a
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
dd5ca785f66a compose_nginx_nginx "/run.sh" 23 minutes ago Up 23 minutes 0.0.0.0:1216->80/tcp, 0.0.0.0:1217->443/tcp compose_nginx_nginx_1
846cc6f5d096 7bbded30f39b "/bin/sh -c './confi…" 34 minutes ago Exited (127) 34 minutes ago exciting_kapitsa- 访问192.168.226.132:1216
四、Consul 容器自动更新与发现
4.1 Consul简介
-
Consul是一个分布式、高可用的系统，是一个为了解决在生产环境中服务注册，服务发现，服务配置的一个工具，它有多个组件，提供如下几个关键功能：
- ① 服务发现： Consul的某些客户端可以提供一个服务，例如api或者mysql，其它客户端可以使用Consul去发现这个服务的提供者。使用DNS或者HTTP，应用可以很容易的找到他们所依赖的服务。
- ② 健康检查：Consul客户端可以提供一些健康检查，这些健康检查可以关联到一个指定的服务（服务是否返回200 OK），也可以关联到本地节点（内存使用率是否在90%以下）。这些信息可以被一个操作员用来监控集群的健康状态，被服务发现组件路由时用来远离不健康的主机。
- ③ 键值存储： 应用可以使用Consul提供的分层键值存储用于一些目的，包括动态配置、特征标记、协作、leader选举等等。通过一个简单的HTTP API可以很容易的使用这个组件。
- ④ 多数据中心：Consul队多数据中心有着非常好的支持，这意味着Consul用户不用担心由于创建更多抽象层而产生多个区域
-
特点：
- ① 支持健康检查，允许存储键值对
- ② 一致性协议采用Raft算法，用来保证服务高可用
- ③ 成员管理和消息广播采用GOSSIP协议，支持ACL访问控制
- ④ 方便部署，与Docker等轻量级容器可无缝配合
- Consul 作用
- 现在企业应用都向微服务化方向发展，当把我们的系统功能拆分成一个一个的微服务后，存在以下问题：
- ① 需要配置N个服务的网络位置，加大配置的复杂性
- ② 服务的网络位置变化，都需要改变每个调用者的配置
- ③ 集群的情况下，除了反向代理方式，难以做负载
4.2 Consul中的基本概念
- ① Client
- 表示 Consul 客户端模式，是 Consul 节点的一种模式，所有注册到 Client 节点的服务会被转发到 Server 。本身无状态不持久化如何数据。Client 通过 HTTP、DNS、GRPC 接口请求转发给局域网内的服务端集群。
- ② Server
- 表示 Consul 的服务端模式， Server 功能和 Client 都一样，不同的是 Server 持久化数据到本地。在局域网内与本地 Client 通讯，通过广域网与其他数据中心通讯。每个数据中心的 Server 数量推荐为 3 个或是 5 个。
- ③ Server-leader
- 表示这个 Server 是它们的老大，它和其它 Server 不一样的一点是，它需要负责同步注册的信息给其它的 Server 节点，同时也要负责各个节点的健康监测。如果 Leader 宕机了，通数据中心的所有 Server 内部会使用 Raft 算法来在其中选取一个 Leader 出来。
- ④ Agent
- Agent 是 Consul 的核心进程，Agent 的工作是维护成员关系信息、注册服务、健康检查、响应查询等等。Consul 集群的每一个节点都必须运行 agent 进程
- server 与 client 只是 consul 群集层面的区分，与搭建在 cluster 之上的应用服务无关。
4.3 Consul 原理概述
- 在分布式系统结构中，往往由成百上千的业务服务组成，为了容灾(节点宕机)、扩容(增加节点)、提高运维效率(动态配置)等原因，需要服务能够实现灵活发现，避免问题节点等功能，以提高系统稳定性
- ① 服务发现及注册
- 当服务Producer 启动时，会将自己的Ip/host等信息通过发送请求告知 Consul，Consul 接收到 Producer 的注册信息后，每隔一段时间会向 Producer 发送一个健康检查的请求，检验Producer是否健康。
- ② 服务调用
- 当 Consumer 请求Product时，会先从 Consul 中拿到存储Product服务的 IP 和 Port 的临时表(temp table)，从temp table表中任选一个· Producer 的 IP 和 Port， 然后根据这个IP和Port，发送访问请求；temp table表只包含通过了健康检查的 Producer 信息，并且每隔一段时间更新
4.3.1 Consul 核心 agent组件
-
Agent是一个独立的程序，通过守护进程的方式，运行在consul集群中的每个节点上。每个Consul agent维护它自己的服务集合以及检查注册和健康信息。agent负责执行自己的健康检查和更新本地状态其中，Agent 根据节点的性质，分为：
-
Agent Server
client将 HTTP 和 DNS 接口请求转发给局域网内的服务端集群。
-
Agent Client
server 保存client的注册信息，集群的配置信息, 维护集群高可用, 在局域网内与本地客户端通讯, 通过广域网与其它数据中心通讯。 每个数据中心的 server 数量推荐为 3 个或是 5 个,通过 Raft 算法来保证一致性。
-
4.3.2 Consul 通信接口
-
① RPC
用于内部通讯Gossip/日志分发/选主等
-
② HTTP API
服务发现/健康检查/KV存储等几乎所有功能, 默认端口为8500
-
③ Consul Commands (CLI)
consul命令行工具可以与consul agent进行连接，提供部分consul的功能。
实际上Consul CLI 默认就是调用的HTTP API来与consul集群进行通讯。
-
④ DNS
仅用于服务查询，例如：dog @127.0.0.1 -p 8600 web.service.consul
可以通过cosul提供的DNS接口来获取当前的服务“web”对应的可用节点
-
Consul 内部端口说明:
4.3.3 Consul 去中心化思想
- consul 使用了基于gossip协议的Serf实现，Serf是一个服务发现，编配工具，它去中心化，不像集中式结构那样统一分配管理； Serf提供成员关系，纠错检查，广播等功能。gossip协议主要是基于UDP，实现任意node-to-node间的通信。Consul正是使用serf 提供的gossip协议来管理成员和广播消息到集群。
- gossip 协议（gossip protocol）是基于流行病传播方式的节点或者进程之间信息交换的协议，来确保网络中所有节点的数据一样。其中节点间的交互方式主要以下有三种:
- ① Push：发起信息的节点 A 随机选择联系节点 B，并向B发送自己的信息，节点 B 在收到信息后，更新比自己新的数据，一般拥有新信息的节点才会作为发起节点。
- ② Pull：发起信息的节点 A 随机选择联系节点 B，并从对方获取信息。一般无新信息的节点才会作为发起节点
- ③ Push&Pull：发起信息的节点 A 向选择的节点 B 发送信息，同时从对方获取数据，用于更新自己的本地数据。
4.4 搭建Consul集群实验
4.4.1 实验环境
- 基于上面的实验，再准备一台centos 7
- 第一台centos 7 IP地址：192.168.226.132
- 需求的软件包：Docker-ce、Compose 3 、Consul、Consul-template
- 第二台centos 7 IP地址：192.168.226.133
- 需求的软件包：Docker-ce 、registrator
- 部署架构思路：
4.4.2 配置 consul服务器
- 安装consul软件包
- 这里已经使用宿主机下载好，直接共享过来使用
[root@localhost consul]# ls
consul_0.9.2_linux_amd64.zip
[root@localhost consul]# unzip consul_0.9.2_linux_amd64.zip
Archive: consul_0.9.2_linux_amd64.zip
inflating: consul
[root@localhost consul]# ls
consul consul_0.9.2_linux_amd64.zip
[root@localhost consul]# mv consul /usr/bin- 建立Consul 服务
[root@localhost consul]# consul agent \
> -server \
> -bootstrap \
> -ui \
> -data-dir=/var/lib/consu-data \
> -bind=192.168.226.132 \
> -client=0.0.0.0 \
> -node=consul-server01 &> /var/log/consu.log &
[1] 4243
[root@localhost consul]# jobs
[1]+ Running consul agent -server -bootstrap -ui -data-dir=/var/lib/consu-data -bind=192.168.226.132 -client=0.0.0.0 -node=consul-server01 &>/var/log/consu.log &
[root@localhost consul]# consul members
Node Address Status Type Build Protocol DC
consul-server01 192.168.226.132:8301 alive server 0.9.2 2 dc1
- 查看集群信息
[root@localhost consul]# consul members
Node Address Status Type Build Protocol DC
consul-server01 192.168.226.132:8301 alive server 0.9.2 2 dc1
[root@localhost consul]# consul info | grep leader
leader = true
leader_addr = 192.168.226.132:8300
- 通过http api 可以获取到集群信息
##查看群集server成员
[root@localhost consul]# curl 127.0.0.1:8500/v1/status/peers
#群集中 Raf leader
[root@localhost consul]# curl 127.0.0.1:8500/v1/status/leaders
#注册的所有服务
[root@localhost consul]# curl 127.0.0.1:8500/v1/catalog/services
#群集节点详细信息
[root@localhost consul]# curl 127.0.0.1:8500/v1/catalog/nodes
#查看nginx 服务信息
[root@localhost consul]# curl 127.0.0.1:8500/v1/catalog/nginx 4.4.3 后端服务器配置
- 让容器服务自动加入nginx集群
#配置192.168.226.133后端节点
[root@localhost ~]# docker run -d \
> --name=registrator \ #下载registrator容器
> --net=host \ #使用host网络
> -v /var/run/docker.sock:/tmp/docker.sock \ #数据卷挂载（使用的是系统默认的）
> --restart=always \ #重启策略（遇到问题会重启）
> gliderlabs/registrator:latest \ #下载的仓库名称/镜像名称
> -ip=192.168.226.133 \ #指向本地服务器IP地址
> consul://192.168.226.133:8500 #指向注册中心的地址
- 查看镜像和容器列表
[root@localhost ~]# docker images
REPOSITORY TAG IMAGE ID CREATED SIZE
gliderlabs/registrator latest 3b59190c6c80 4 years ago 23.8MB
[root@localhost ~]# docker ps -a
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
0779b70cc2b8 gliderlabs/registrator:latest "/bin/registrator -i…" 49 seconds ago Up 48 seconds registrator
- 创建两个nginx容器
docker run -itd -p:83:80 --name test-01 -h test01 nginx
docker run -itd -p:84:80 --name test-02 -h test02 nginx
#-name 给容器命名 -h 设置容器主机名- 使用浏览器192.168.226.132:8500
- 以上可见nginx与httpd服务已注册到consul
4.5 实现容器服务自动加入Nginx集群
4.5.1 Consul-template简介
-
Consul-Template 是一个守护进程，用户实时查询Consul集群信息，并更新文件系统上任意数量的指定模板，生成配置文件。更新完成后，可以选择运行shell命令执行更新操作，重新加载Nginx
-
特点：
-
consul-template是基于Consul的自动替换配置文件的应用
-
可以查询Consul中的服务目录，key、key-values
-
其强大的抽象功能和查询语言模板使得Consul-Template特别适合动态的创建配置文件，
例如：Nginx/Apache Proxy Balancers、Haproxy Backends
-
4.5.2 配置过程
-
思路（以nginx为例）：
-
① 定义template nginx.ctmpl 模板（如果需要实现动态变化，则在此模板中的参数需要定义为变量—以双大括号括起来的参数）
此配置文件仅与consul有关（consul使用此配置文件模板生成nignx的主配置文件）
-
② 配置nginx（修改文件，添加配置文件的路径）
-
③ 启动template（自动生成/更新配置文件供与nginx使用）
-
-
实验环境
-
继承之前的服务环境继续进行配置
4.5.3 准备 Template nginx模板文件
- 在consul服务器的consul目录中添加nginx模板
[root@localhost consul]# vim nginx.ctmpl
upstream http_backend { #群集模块模板
{{range service "nginx"}} #指定nginx服务项
server {{.Address}}:{{.Port}}; #指向真实服务器的地址和端口“{{.Address}}” 此参数会根据consul群集的参数自动设置上去
{{end}} #结束语句（以上为轮询请求方式）
}
server {
listen 88; #对外提供的端口，可自行设置，只要不起冲突
server_name localhost 192.168.226.133; #本地反向代理的节点地址
access_log /var/log/nginx/kgc.cn-access.log; #访问日志文件目录（需手动创建）
index index.html index.php; #指定访问的index 首页类型
location / {
proxy_set_header HOST $host; #反向代理的请求头部信息
proxy_set_header X-Real-IP $remote_addr; #真实服务器IP
proxy_set_header Client-IP $remote_addr; #客户IP
proxy_set_header X-Fprwarded-For $proxy_add_x_forwarded_for; #Forward转发地址
proxy_pass http://http_backend; #反向代理指向upstream地址池
}
}
----》wq4.5.4 手工编译安装nginx服务
[root@localhost consul]# yum install gcc gcc-c++ pcre-devel zlib-devel -y
#下载Nginx1.12.0软件包
[root@localhost consul]# ls
consul_0.9.2_linux_amd64.zip nginx-1.12.0.tar.gz
consul-template_0.19.3_linux_amd64.zip nginx.ctmpl
#解压软件包
[root@localhost consul]# tar zxvf nginx-1.12.0.tar.gz -C /opt
#配置、编译
[root@localhost consul]# cd /opt/nginx-1.12.0/
[root@localhost nginx-1.12.0]# ./configure --prefix=/usr/local/nginx
[root@localhost nginx-1.12.0]# make && make install- 修改nginx配置文件
[root@localhost nginx-1.12.0]# cd /usr/local/nginx/conf/
[root@localhost conf]# vim nginx.conf
#在http模块下 添加
http {
include mime.types;
include vhost/*.conf; #vhost目录需手动创建
#在http模块下 添加include vhost/*.conf
---->wq- 创建vhost文件目录
[root@localhost conf]# mkdir vhost- 创建nginx访问日志目录
[root@localhost conf]# mkdir /var/log/nginx- 创建软链接并启动nginx
[root@localhost conf]# ln -s /usr/local/nginx/sbin/nginx /usr/bin4.5.5 配置、启动Template
- 配置template
[root@localhost conf]# cd
[root@localhost ~]# cd consul/
[root@localhost consul]# ls
consul_0.9.2_linux_amd64.zip nginx-1.12.0.tar.gz
consul-template_0.19.3_linux_amd64.zip nginx.ctmpl
#解压缩consul-template 并将脚本放入/usr/bin中
[root@localhost consul]# unzip consul-template_0.19.3_linux_amd64.zip
Archive: consul-template_0.19.3_linux_amd64.zip
inflating: consul-template
[root@localhost consul]# mv consul-template /usr/bin
- 启动template
[root@localhost consul]# consul-template -consul-addr 192.168.226.132:8500 -template "/root/consul/nginx.ctmpl:/usr/local/nginx/conf/vhost/test.conf:/usr/local/nginx/sbin/nginx -s reload" --log-level=info
#template开启后会进入实时监控状态，监控后端容器的变化，如果有增减，则会直接从consul中拉取参数，然后更新配置文件-
参数详解：
-consul-addr 192.168.226.132:8500：指向consul服务端节点
-template "/root/consul/nginx.ctmpl：指定模板路径
:/usr/local/nginx/conf/vhost/test.conf：指定文件生成到vhost中并命名为test.conf
:/usr/local/nginx/sbin/nginx -s reload：不中断服务reload重载nginx服务让配置文件生效
–log-level=info：产生日志，级别为info（日志生成位置在nginx.ctml中定义“access_log”）
4.6 测试
-
另起一个终端，进行之后的测试
① 查看nginx的/vhost文件中是否生成test.conf配置文件
[root@localhost ~]# cd /usr/local/nginx/conf/vhost/
[root@localhost vhost]# ls
test.conf- ② 查看test.conf配置文件中的地址池信息（是否已自动更新添加）
[root@localhost vhost]# vim test.conf
upstream http_backend {
server 192.168.226.133:83; #从consul注册信息中拉取了节点信息
server 192.168.226.133:84; #从consul注册信息中拉取了节点信息
}
server {
listen 88;
server_name localhost 192.168.226.133;
access_log /var/log/nginx/test.cn-access.log;
index index.html index.php;
location / {
proxy_set_header HOST $host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header Client-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_pass http://http_backend;
}
}
----》wq- ③ 在后端服务器中再次添加一个容器，查看vhost中配置文件是否会自动发现/更新
#在后端服务器再次创建一个容器
[root@localhost ~]# docker run -itd -p:85:80 --name test-03 -h test03 nginx
82213ed98954220b60219d8d86a2e68eca8451dba671aaec7a94c843fed5f58c - 查看test.conf中的服务信息
总结：
本篇博客介绍了Docker Compose 简单的容器编排思路与实操，重心在于consul-template 的编写，服务器节点指向的对象、参数变量的设置。
之后会介绍docker容器中Harbor私有仓库的内容~~