Docker+Consul+Registrator 实现服务注册与发现
第四阶段
时 间：2023年8月8日
参加人：全班人员
内 容：
Docker+Consul+Registrator
实现服务注册与发现
目录
一、服务注册中心引言
CAP理论是分布式架构中重要理论：
二、服务注册中心软件
（一）ZooKeeper
（二）Eureka
（三）Etcd
（四）Consul
常用的服务发现产品之间的比较：
三、Consul介绍
（一）Consul主要功能：
（二）Consul工作模式：
（三）架构设计
（四）架构优势
四、构建自动发现的 Docker 服务架构
（一）建立 Consul 服务
1、Consul集群部署
2、consul高可用
（二）安装consul
1、下载consul二进制包
3、查看集群信息
4、通过API获取集群信息
五、容器服务自动加入 Nginx 集群
1. 基于 Registrator 镜像部署容器
2. 测试服务发现功能是否正常
3. 验证Tomcat服务是否注册到了consul集群
4. 安装 consul-template
5. 准备 template nginx 模板文件
6. 编译安装 nginx
7. 配置 nginx
8. 配置并启动 consul-template
9. 访问 template-nginx 配置文件
10. 增加一个测试的容器节点
一、服务注册中心引言
服务注册中心本质上是为了解耦服务提供者和服务消费者。对于任何一个微服务，原则上都应存在或者支持多个提供者，这是由微服务的分布式属性决定的。
更进一步，为了支持弹性扩缩容特性，一个微服务的提供者的数量和分布往往是动态变化的，也是无法预先确定的。因此，原本在单体应用阶段常用的静态LB机制就不再适用了，需要引入额外的组件来管理微服务提供者的注册与发现，而这个组件就是服务注册中心。
微服务-将一个大型的单体架构拆分成多个小的服务组件。
CAP理论是分布式架构中重要理论：
一致性(Consistency) (所有节点在同一时间具有相同的数据)
可用性(Availability) (保证每个请求不管成功或者失败都有响应)
分隔容忍(Partition tolerance) (系统中任意信息的丢失或失败不会影响系统的继续运作)
二、服务注册中心软件
（一）ZooKeeper
ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。
ZooKeeper的目标就是封装好复杂易出错的关键服务，将简单易用的接口和性能高效、功能稳定的系统提供给用户。
（二）Eureka
Eureka是基于REST（Representational State Transfer）服务，主要以AWS云服务为支撑，提供服务发现并实现负载均衡和故障转移。我们称此服务为Eureka服务。Eureka提供了Java客户端组件，Eureka Client，方便与服务端的交互。客户端内置了基于round-robin实现的简单负载均衡。在Netflix，为Eureka提供更为复杂的负载均衡方案进行封装，以实现高可用，它包括基于流量、资源利用率以及请求返回状态的加权负载均衡。
（三）Etcd
etcd 是一个分布式键值对存储系统，由coreos 开发，内部采用 raft 协议作为一致性算法，用于可靠、快速地保存关键数据，并提供访问。通过分布式锁、leader选举和写屏障(write barriers)，来实现可靠的分布式协作。etcd集群是为高可用、持久化数据存储和检索而准备。
（四）Consul
Consul 是 HashiCorp 公司推出的开源工具，用于实现分布式系统的服务发现与配置。 与其他分布式服务注册与发现的方案比如 Airbnb 的 SmartStack 等相比，Consul 的方案更“一站式”，内置了服务注册与发现框架、分布一致性协议实现、健康检查、Key/Value 存储、多数据中心方案，不再需要依赖其他工具（比如 ZooKeeper 等）。使用起来也较为简单。Consul 用 Golang 语言实现，因此具有天然可移植性(支持 Linux、windows 和 Mac OS X)； 安装包仅包含一个可执行文件，方便部署，与 Docker 等轻量级容器可无缝配合。
常用的服务发现产品之间的比较：
三、Consul介绍
Consul是一个分布式，高可用且支持多数据中心的服务发现，配置和编排工具。 Consul支持大规模部署，配置和维护面向服务的体系结构。
（一）Consul主要功能：
1、服务发现
通过DNS或HTTP接口使得消费者发现服务，应用程序可以轻松找到所依赖的服务。
2、健康检查
防止将请求转发不健康的主机。
3、键值存储
可以使用分层键/值存储，比如功能标记、动态配置等。
4、多数据中心
开箱即用，不需要复杂的配置。这就意味这不用建立抽象的逻辑来扩展多个地区。
（二）Consul工作模式：
1、Consul agent是Consul核心组件，分为client和server两种工作模式。
默认以client模式运行，提供服务注册、健康检查、
转发查询给server leader。
server模式启动时使用-server选项指定，用于维护Consul集群状态、Raft协议进行选举。
2、agent必须在每个Consul节点运行，所有运行Consul agent节点构成Consul集群。
3、官方建议Consul集群至少3或5个节点运行Consul agent server模式，client节点不限。
4、通过join或rejoin选项加入集群。一旦加入，集群信息使用gossip算法同步到整个集群节点。
（三）架构设计
在现实工作中，我们一直渴望着追求提供高质量、高可用的服务架构体系，同时减少不必要的部署和维护代价，减少容错率。面对如此高的要求，可以有两种架构方案：
1、Docker+Etcd+Confd+Nginx
2、Docker+Consul+Nginx
使用 Docker 将 Consul、Consul Template、Registrator 和 Nginx 组装成一个值得信任且可扩展的服务框架，这套架构在这个框架中添加和移除服务，不需要重写任何配置，也不需要重启任何服务，一切都能正常运行。工作流程很简单：
（四）架构优势
Docker+Consul+Nginx虽然看起来是三个组件的运用，但却证明是一个有机的整体。它们互相联系、互相作用，完全满足我们对高可用、高效服务架构方案的需求，是Docker生态圈中最理想的组合之一，具有以下优势：
1、自动发现与注册组件consul使用 Raft 算法来保证一致性，比复杂的Paxos 算法更直接。相比较而言，zookeeper 采用的是 Paxos，而 etcd 使用的则是 Raft；
2、支持多数据中心，多数据中心集群可以避免单数据中心的单点故障，zookeeper 和 etcd 均不提供多数据中心功能的支持；
3、自动、实时发现及无感知服务刷新，具备资源弹性，伸缩自如；
4、支持健康检查，负载能动态在可用的服务实例上进行均衡，etcd 不提供此功能；
5、支持足够多台Docker容器(前提架构资源足以保证性能支撑)；
6、支持http 和dns 协议接口，zookeeper 的集成较为复杂，etcd 只支持 http 协议；
7、服务规模方便进行快速调整，官方提供web管理界面，etcd 无此功能；
8、Consul template 搭配consul使用，支持多种接入层，如Nginx、Haproxy。
四、构建自动发现的 Docker 服务架构
（一）建立 Consul 服务
要想利用 Consul 提供的服务实现服务的注册与发现，我们需要建立 Consul 服务。在 Consul 方案中，每个提供服务的节点（Docker主机）上都要部署和运行 Consul 的 client，所有运行 Consul agent节点的集合构成 Consul Cluster。Consul agent 有两种运行模式：Server 和 Client。 这里的 Server 和 Client 只是 Consul 集群层面的区分，与搭建在 Cluster 之上的应用服务无关。以 Server 模式运行的 Consul agent 节点用于维护 Consul 集群的状态，官方建议每个 Consul Cluster 至少有 3 个或以上的运行在 Server mode 的 Agent，Client 节点不限。
1、Consul集群部署
如下图所示，左边三台Consul agent server 集群通过选举，选出一台Leader。来管理右边的client。获取集群状态信息。
Consul agent server -bootstrap自动选举本机为Leader。管理台client。获取集群信息。
2、consul高可用
3台允许坏1台；5台允许坏2台
| 主机名 |
IP地址 |
软件 |
| huyang1 |
192.168.100.121 |
nginx consul consul-template |
| huyang2 |
192.168.100.122 |
docker-ce registrator |
| huyang3 |
192.168.100.123 |
docker-ce registrator |
（二）安装consul
1、下载consul二进制包
下载地址 Install | Consul | HashiCorp Developer
[root@huyangl ~]# unzip consul_0.9.2_linux_amd64.zip
[root@huyangl ~]# mv consul /usr/bin/
[root@huyangl ~]# nohup consul agent -server -bootstrap -ui -data-dir=/var/lib/consul-data -bind=192.168.100.131 -client=0.0.0.0 -node=consul-server01 &> /var/log/consul.log &
配置项说明：
agent:运行一个consul代理。
-server :切换代理到服务器模式。
-bootstrap：用来控制一个 server 是否在 bootstrap 模式，在一个 datacenter 中只能 有一个 server 处于 bootstrap 模式，当一个 server 处于 bootstrap 模式时，可以自己 选举为 raft leader。
-data-dir ：参数指定数据存储目录
-bind -bind：该地址用来在集群内部的通讯，集群内的所有节点到地址都必须是可达的，默认是 0.0.0.0。
-ui：参数指定开启 UI 界面，这样可以通过 http://localhost:8500/ui 这样的地址访问 consul 自带的 web UI 界面。
-client consul 绑定在哪个 client 地址上，这个地址提供 HTTP、DNS、RPC 等服务， 默认是 127.0.0.1。
-node：节点在集群中的名称，在一个集群中必须是唯一的，默认是该节点的主机名。
安装 consul 是用于服务注册，也就是容器本身的一些信息注册到 consul 里面，其他程 序可以通过 consul 获取注册的相关服务信息，这是就是所为的服务注册与发现。
3、查看集群信息
查看huyangl ~集群成员信息
[root@huyangl ~]# consul members
查看huyangl ~集群中的leader
[root@huyangl ~]# consul info | grep leader
查看huyangl ~集群中管理的服务
[root@huyangl ~]# consul catalog services
查看监听的端口：
启动consul后默认会监听5个端口：
8300： replication、leader farwarding的端口
8301： lan cossip的端口
8302： wan gossip的端口
8500： web ui界面的端口
8600： 使用dns协议查看节点信息的端口
可参考下图查看端口的意思：
4、通过API获取集群信息
[root@huyangl ~]# curl 127.0.0.1:8500/v1/status/peers //查看集群 server 成员
[root@huyangl ~]# curl
127.0.0.1:8500/v1/status/leader //集群 Raf leader
[root@huyangl ~]# curl
127.0.0.1:8500/v1/catalog/services
//注册的所有服务
[root@huyangl ~]# curl
127.0.0.1:8500/v1/catalog/nginx //查看 nginx 服务信息
[root@huyangl ~]# curl
127.0.0.1:8500/v1/catalog/nodes //集群节点详细信息
五、容器服务自动加入 Nginx 集群
1. 基于 Registrator 镜像部署容器
Registrator 服务会检查应用服务容器的运行状态，进行自动注册和注销 docker 容器服务到服务配置中心Consul上。目前支持与 Consul、etcd 和 SkyDNS2等软件进行整合。
在 192.168.100.132/192.168.100.133 节点操作
1）安装docker-ce
[root@huyang2 ~]# wget -O
/etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo
[root@huyang2 ~]# yum -y install yum-utils device-mapper-persistent-data lvm2
[root@huyang2 ~]# yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
[root@huyang2 ~]# ls /etc/yum.repos.d/
[root@localhost ~]# yum -y install docker-ce
[root@localhost ~]# systemctl start docker
[root@localhost ~]# systemctl enable docker
2）阿里云镜像加速器
阿里云登录 - 欢迎登录阿里云，安全稳定的云计算服务平台
[root@huyang2 ~]# cat << END > /etc/docker/daemon.json
{
"registry-mirrors":[ "https://nyakyfun.mirror.aliyuncs.com" ]
}
END
[root@huyang2 ~]# systemctl daemon-reload
[root@huyang2 ~]# systemctl restart docker
[root@huyang2 ~]# docker version
3）部署registrator容器服务
注意192.168.100.133主机需要注意IP地址
[root@huyang2 ~]# docker run -d --name=registrator --net=host -v /var/run/docker.sock:/tmp/docker.sock --restart=always gliderlabs/registrator:latest -ip=192.168.100.132 consul://192.168.100.131:8500
[root@huyang3 ~]# docker run -d --name=registrator --net=host -v /var/run/docker.sock:/tmp/docker.sock --restart=always gliderlabs/registrator:latest -ip=192.168.100.133 consul://192.168.100.131:8500
2. 测试服务发现功能是否正常
创建Tomcat测试页面，并部署tomcat测试容器
1）huyang2主机
[root@huyang2 ~]# mkdir /web
[root@huyang2 ~]# vim /web/index.jsp
配置如下：
<%@ page language="java" import="java.util.*" pageEncoding="UTF-8"%>
docker consul test page
<% out.println("Welcome to consul site,http://www.consul.com");%>
[root@huyang2 ~]# docker run -itd -p:8001:8080 -v /web:/usr/local/tomcat/webapps/ROOT --name huyang2-t1 -h huyang2-t1 tomcat
[root@huyang2 ~]# docker run -itd -p:8002:8080 -v /web:/usr/local/tomcat/webapps/ROOT --name huyang2-t2 -h huyang2-t2 tomcat
访问网页测试：192.168.100.132:8001
192.168.100.132:8002
2）huyang3主机
[root@huyang3 ~]# mkdir /web
[root@huyang3 ~]# vim /web/index.jsp
配置如下：
<%@ page language="java" import="java.util.*" pageEncoding="UTF-8"%>
docker consul test page
<% out.println("Welcome to consul site,http://www.consul.com");%>
[root@huyang3 ~]# docker run -itd -p:8001:8080 -v /web:/usr/local/tomcat/webapps/ROOT --name huyang3-t1 -h huyang3-t1 tomcat
[root@huyang3 ~]# docker run -itd -p:8002:8080 -v /web:/usr/local/tomcat/webapps/ROOT --name huyang3-t2 -h huyang3-t2 tomcat
访问网页测试：192.168.100.133:8001
192.168.100.133:8002
3. 验证Tomcat服务是否注册到了consul集群
浏览器输入 http://192.168.100.131:8500，点击”NODES“，再点击“consul-server01””， 会出现 5 个服务。
[root@huyang1 ~]#
curl 127.0.0.1:8500/v1/catalog/services
从以上结果中发现Tomcat服务已经注册到 consul 里面，说明服务正常
4. 安装 consul-template
Consul-Template 是基于 Consul 的自动替换配置文件的应用。在 Consul-Template 没出现之前，构建服务大多采用的是 Zookeeper、Etcd+Confd 这样类似的系统。
Consul-template 是一个守护进程，用于实时查询 consul 集群信息，并更新文件系统上的任意数量的指定模板，生成配置文件，更新完成以后可以选择运行 shell 命令执行更新操作，例如：重新加载 nginx。
Consul-Template 可以查询 Consul 中的服务目录、Key、Key-values 等。这种强大的抽象功能和查询语言模板可以使 Consul-Template 特别适合动态的创建配置文件。例如：创建 Apache/Nginx Proxy Balancers、Haproxy Backends、Varnish Servers、Application Configurations 等。
5. 准备 template nginx 模板文件
[root@huyang1 ~]# mkdir consul
[root@huyang1 ~]# cd consul/
[root@huyang1 consul]# vim /root/consul/nginx.tmp
6. 编译安装 nginx
[root@huyang1 ~]# yum -y install gcc gcc-c++ make pcre-devel zlib-devel openssl-devel
[root@huyang1 ~]# tar xf nginx-1.16.0.tar.gz
[root@huyang1 ~]# cd nginx-1.16.0/
[root@huyang1 nginx--1.16.0]# ./configure --prefix=/usr/local/nginx --with-http_stub_status_module --with-http_realip_module --with-pcre --with-http_ssl_module && make -j 2 && make install
7. 配置 nginx
[root@huyang1 ~]# vim
/usr/local/nginx/conf/nginx.conf
include vhost/*.conf; //在 http 段里面添加虚拟主机目录
[root@huyang1 ~]# mkdir /usr/local/nginx/conf/vhost/
[root@huyang1 ~]# /usr/local/nginx/sbin/nginx
8. 配置并启动 consul-template
手动上传 consul-template_0.19.3_linux_amd64.zip 包到/root 目录下
[root@huyang1 ~]#wget https://releases.hashicorp.com/consul-template/0.19.3/consul-template_0.19.3_linux_amd64.zip
[root@huyang1 ~]# unzip consul-template_0.19.3_linux_amd64.zip
[root@consul ~]# mv consul-template /usr/bin/
在前台启动 template 服务，需要指定 template 模板文件及生成路径即可，启动后不要按 ctrl+c 中止。
[root@huyang1 ~]# consul-template -consul-addr 192.168.100.131:8500 -template "/root/consul/nginx.tmp:/usr/local/nginx/conf/vhost/crushlinux.conf:/usr/local/nginx/sbin/nginx -s reload" --log-level=info
生成的配置文件如下。
[root@consul ~]# cat
/usr/local/nginx/conf/vhost/crushlinux.conf
[root@huyang1 ~]# netstat -lnpt | grep nginx
9. 访问 template-nginx 配置文件
通过浏览器访问nginx 监听的8080 端口
10. 增加一个测试的容器节点
1）增加一个tomcat容器节点，测试服务发现及配置更新功能。
[root@huyang2 ~]# docker run -itd -p:8003:8080 -v /web:/usr/local/tomcat/webapps/ROOT --name huyang2-t3 -h huyang2-t3 tomcat
2）观察consul-template服务，他会自动从模板更新/usr/local/nginx/conf/vhost/crushlinux.conf 文件内容，并且重载 nginx 服务。
3）查看/usr/local/nginx/conf/vhost/crushlinux.conf 文件内容
[root@huyang1 ~]# cat
/usr/local/nginx/conf/vhost/crushlinux.conf
