docker-compose搭建consul集群
使用docker-compose搭建consul集群
- compose编排
-
- docker compose简介
-
- docker compose编排文件格式
- docker compose配置常用字段
- 基本使用格式compose
- dockecompose编排nginx
-
- 1.搭建docker环境
- 2.安装docker-compose
- 3.编写dockerfile文件
- 3.配合dockerfile里面的信息，添加对应的文件到此目录，如运行脚本，ADD需要上传的文件
- 4.编写yaml文件
- 5.若涉及到数据卷，则需要在数据卷目录中放入指定文件
- 6.docker-compose编排构建
- 7.使用docker ps -a 检查容器运行状态
- 8.测试，浏览器访问 192.168.100.100:1216
- consul部署
-
-
- consul特性
- 建立Consul服务
- 容器服务自动加入nginx集群
-
- 1.安装Registrator
- 2.创建业务容器nginx和httpd
- 3.验证http和nginx服务是否注册到consul
- 4.安装consul-template
- 5.准备template nginx 模板文件
- 192.168.100.100 上安装nginx，配置反向代理
- 然后启用temlate
- 验证
-
服务器分配
服务器 192.168.100.100 Docker-ce Compose 3 Consul Consul-template
服务器 192.168.100.11 Docker-ce registrator
compose编排
docker compose简介
docker compose前身是fig他是一个定义及运行多个docker容器的工具
使用docker compose不在需要使用shell脚本来启动容器
docker compose非常适合组合使用多个容器进行开发场景
docker compose编排文件格式
不支持制表符tab键缩进，需要使用空格
通常开头缩进2个空格
字符后缩进1个空格
用#号注释
如果包含特殊字符单引号引起来
布尔值必须用引号括起来
docker compose配置常用字段
build dockerfile context：指定dockerfile文件名构键镜像上下路径
image：指定镜像
command：执行指令，覆盖默认命令
container name：指定容器名称，由于容器名称唯一，如果指定自定义名称，无法使用scale
deploy：指定部署运行服务器相关配置，只能在swarm模式使用
environment：添加环境变量
networks：加入网络
ports：暴露容器端口，与-p相同，但端口不能低于60
volumes：挂载宿主机路径或命令卷
restart：重启策略，默认no,always, no-failure,unless-stoped
hostname：容器主机名
build：重新构建服务
ps：列出容器
up：启动创建容器
exec：在容器里执行命令
scale：指定一个服务容器启动数量
top：显示容器进程
logs：查看容器输出
down：删除容器、网络、数据卷和镜像
stop/start/restart“停止/启动/重启服务
基本使用格式compose
docker-compose [options] [COMMAND] [ARGS…]
选项compose
–verbose：输出更多调试信息
–version：打印版本并退出
-f，–file FILE：使用特定compose模板文件，默认为docker-compose.yml
-p，–project-name NAME：指定项目名称，默认使用目录名称
dockecompose编排nginx
consul 192.168.100.100
1.搭建docker环境
systemctl status docker #保证都正常状态
setenforce 0
2.安装docker-compose
上传docker-compose
chmod +x docker-compose
mv docker-compose /usr/local/bin/
3.编写dockerfile文件
写一个dockerfile目录，此目录存放此项目的素材
mkdir nginx
cd nginx
cat > Dockerfile <<EOF
FROM centos:7
MAINTAINER The is nginx <wwj>
RUN yum -y update
RUN yum install -y proc-devel gcc gcc-c++ zlib zlib-devel make openssl-devel wget
RUN useradd -M -s /sbin/nologin nginx
ADD nginx-1.12.0.tar.gz /usr/local/src
WORKDIR /usr/local/src
WORKDIR nginx-1.12.0/
RUN ./configure \
--prefix=/usr/local/nginx \
--user=nginx \
--group=nginx \
--with-http_stub_status_module && make && make install
ENV PATH /usr/local/nginx/sbin:$PATH
EXPOSE 80
EXPOSE 443
RUN echo "daemon off;">>/usr/local/nginx/conf/nginx.conf
ADD run.sh /run.sh
RUN chmod 755 /run.sh
CMD ["/run.sh"]
EOF
3.配合dockerfile里面的信息，添加对应的文件到此目录，如运行脚本，ADD需要上传的文件
上传nginx-1.12.0源程序包
cat > run.sh <<EOF
#!/bin/bash
/usr/local/nginx/sbin/nginx
EOF
4.编写yaml文件
cd ..
cat > docker-compose.yml <<EOF
version: '3'
services:
nginx:
hostname: nginx
build:
context: ./nginx
dockerfile: Dockerfile
ports:
- 1216:80
- 1217:80
networks:
- cluster #网络名称，可自定义,可以在容器里面划分子网段
volumes:
- ./wwwroot:/usr/local/nginx/html
networks:
cluster:
EOF
5.若涉及到数据卷，则需要在数据卷目录中放入指定文件
添加web首页
echo "this is test web " > /root/wwwroot/index.html
6.docker-compose编排构建
docker-compose -f docker-compose.yml up -d
7.使用docker ps -a 检查容器运行状态
[root@docker-lnmp nginx1]# docker ps -a
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
1c55c2157c62 root_nginx "/run.sh" 11 minutes ago Up 11 minutes 443/tcp, 0.0.0.0:1216->80/tcp, 0.0.0.0:1217->80/tcp root_nginx_1
8.测试，浏览器访问 192.168.100.100:1216
consul部署
consul特性
支持健康检查，允许存储键值对
基于go语言，可移植性强
支持acl控制访问
建立Consul服务
consul 192.168.100.100
[root@docker-lnmp ~]# mkdir consul
[root@docker-lnmp ~]# cd consul/
上传consul_0.9.2_linux_amd64.zip
[root@docker-lnmp consul]# unzip consul_0.9.2_linux_amd64.zip
[root@docker-lnmp consul]# mv consul /usr/bin/
[root@docker-lnmp consul]# consul agent \ #使用代理功能
-server \ #提供server功能
-bootstrap \ #参与选举为leader
-ui \ #提供web访问功能
-data-dir=/var/lib/consul-data \ #数据存放位置
-bind=192.168.100.100 \ #绑定本地地址
-client=0.0.0.0 \ #面对所有终端
-node=consul-server01 &> /var/log/consul.log & #节点名称&日志位置
[1] 5328
[root@docker-lnmp consul]# consul members
Node Address Status Type Build Protocol DC
consul-server01 192.168.100.100:8301 alive server 0.9.2 2 dc1
[root@docker-lnmp ~]# consul info|grep leader #查看leader角色
leader = true
leader_addr = 192.168.100.100:8300
//通过httpd api获取群集信息
curl 127.0.0.1:8500/v1/status/peers #查看集群server成员
curl 127.0.0.1:8500/v1/status/leader #集群leader
curl 127.0.0.1:8500/v1/catalog/services #注册所有服务
curl 127.0.0.1:8500/v1/catalog/nginx #查看nginx服务信息
curl 127.0.0.1:8500/v1/catalog/nodes #查看集群节点详细信息
容器服务自动加入nginx集群
Registrator 节点192.168.100.11
1.安装Registrator
可检查容器运行状态自动注册，还可以注销docker容器服务 到服务配置中心
目前支持Consul、Etcd和SkyDNS2
docker-ce环境安装及优化就不详细介绍了
[root@localhost ~]# docker run -d \
--name=registrator \ ##指定容器名称
--net=host \ ##指定网络
-v /var/run/docker.sock:/tmp/docker.sock \ ##挂载数据卷
--restart=always \ ##宕机后永远执行restart
gliderlabs/registrator:latest \ ##指定镜像加载
-ip=192.168.100.11 \ ##指定本地IP地址
consul://192.168.100.100:8500 ##指定对方consul地址
2.创建业务容器nginx和httpd
[root@localhost ~]# docker run -itd -p:83:80 --name test-01 -h test01 nginx
[root@localhost ~]# docker run -itd -p:84:80 --name test-02 -h test02 nginx
[root@localhost ~]# docker run -itd -p:88:80 --name test-03 -h test03 httpd
[root@localhost ~]# docker run -itd -p:89:80 --name test-04 -h test04 httpd
[root@localhost ~]# docker ps -a
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
91a142bede9c httpd "httpd-foreground" 12 seconds ago Up 11 seconds 0.0.0.0:89->80/tcp test-04
df0f1beb295c httpd "httpd-foreground" 25 seconds ago Up 24 seconds 0.0.0.0:88->80/tcp test-03
128193260b00 nginx "/docker-entrypoint.…" 57 seconds ago Up 56 seconds 0.0.0.0:84->80/tcp test-02
e1b3bffc5cde nginx "/docker-entrypoint.…" 2 minutes ago Up 2 minutes 0.0.0.0:83->80/tcp test-01
c6eedc0e92c3 gliderlabs/registrator:latest "/bin/registrator -i…" 4 minutes ago Up 4 minutes registrator
3.验证http和nginx服务是否注册到consul
浏览器输入192.168.100.100:8500,点击NODES—>consurl-server01,会出现5个服务
在浏览器上访问192.168.100.11:83 84 88 89就能访问到对应web网页了
在consul服务器上查看
4.安装consul-template
consul-template是一个守护进程，用于实时查询consul集群信息，并更新文件系统上任意数量的指定模板，生成配置文件。
更新完成后可以选择运行shell命令执行更新操作，重新加载nginx。
consul-template可以查询consul中的服务目录、key、key-values等。
这种强大的抽象功能和查询语言模板可以使consul-template特别适合动态的创建配置文件。
例如：创建apache/nginx proxy balancers、haproxy backends
5.准备template nginx 模板文件
在consul上操作
mkdir consul
cd consul
上传consul_0.9.2_linux_amd64.zip
[root@docker-lnmp consul]# vim nginx.ctmpl
upstream http_backend {
#upstream四层转发，固nginx可以作4、7层的转发，lvs只能支持4层转发
{
{
range service "nginx"}} ##读取node节点地址，range遍历
server {
{
.Address}}:{
{
.Port}}; ##开启几个生成几个server条目动态加载继续添加会再生成一条容器记录。变量{
{
.Address}}和{
{
.Port}}
{
{
end}} ##结束
}
server {
##server配置
listen 1216; ##反向代理端口
server_name localhost 192.168.100.100; ##本地监听地址
access_log /var/log/nginx/kgc.cn-access.log; ##日志文件位置
index index.html index.php; ##首页类型
location / {
proxy_set_header HOST $host; ##跳转头部信息
proxy_set_header X-Real-IP $remote_addr; #$remote_addr内置变量，代表请求端的地址，即源地址
proxy_set_header Client-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; ##跳转地址
proxy_pass http://http_backend; ##跳转服务器名字名称用httpd协议。proxy_pass反向代理模块，通过http协议转发给http_backend函数，此函数在前面定义。
}
}
192.168.100.100 上安装nginx，配置反向代理
然后主上安装nginx把源码包拖入opt下然后tar zxvf解压，别忘了装环境
yum -y install gcc gcc-c++ pcre-devel zlib-devel
进入nginx目录，然后./configure配置nginx
./configure --prefix=/usr/local/nginx
make && make install
完成之后定义之后产生配置文件的路径，以便于后面产生出来被识别
进入配置文件在http字段下设置路径
[root@localhost nginx-1.15.9]# vi /usr/local/nginx/conf/nginx.conf
http {
include mime.types;
include vhost/*.conf; ##添加子配置文件路径
根据nginx.conf的配置，我们要进入conf目录下创建vhost
[root@localhost nginx-1.15.9]# cd /usr/local/nginx/conf/
[root@localhost conf]# mkdir vhost #这步不能忘
然后还要创建一个日志目录是之前nginx.ctmpl里面指定日志存放的位置
[root@localhost conf]# cd /var/log/
[root@localhost log]# mkdir nginx
然后就可以启动nginx了，创建软连接让系统识别nginx命令
[root@localhost log]# ln -s /usr/local/nginx/sbin/nginx /usr/local/sbin/
[root@localhost log]# nginx
[root@localhost log]# netstat -anpt|grep nginx
tcp 0 0 0.0.0.0:80 0.0.0.0:* LISTEN 51746/nginx: master
然后启用temlate
把包拖入root下，解压
[root@localhost ~]# unzip consul-template_0.19.3_linux_amd64.zip
[root@localhost ~]# mv consul-template /usr/bin
启用模板
[root@localhost ~]# consul-template -consul-addr 192.168.100.100:8500 \ ##指本地地址
-template "/root/consul/nginx.ctmpl:/usr/local/nginx/conf/vhost/kgc.conf:/usr/local/nginx/sbin/nginx -s reload" \ ##指定template路径，生成扩展性配置文件kgc.conf，然后重载生效
--log-level=info ##日志级别
然后会在/usr/local/nginx/conf下生成vhost文件里面有kgc.conf，这时就可以检测了
验证
然后访问192.168.100.11:1216就可以轮询访问41和42的nginx服务器了
在节点服务器上访问两个容器的web日志文件来查看是否真的轮询
docker logs -f test-01
docker logs -f test-02
增加一个nginx容器节点
//在registrator服务端注册
docker run -itd -p:85:80 --name test-05 -h test05 nginx