Docker consul的容器服务更新与发现

Consul概述

1.服务注册与发现

服务注册与发现是一种在分布式系统中管理和定位服务的方法。
在传统的架构中，应用程序通常直接连接到已知的服务，例如通过硬编码的 IP 地址和端口号。
然而，在现代的微服务和分布式系统中，服务的动态性和数量的增加使得静态的连接方式变得不太适用。

服务注册与发现的核心思想是将服务的位置信息（例如 IP 地址和端口号）注册到一个中心化的服务注册表中，并允许其他服务动态地查询和发现这些服务。

服务注册： 当一个服务启动时，它将自己的元数据（包括服务名称、IP 地址、端口号、健康状态等）注册到服务注册表中。
这个注册表可以是一个独立的服务（如 Consul、etcd、ZooKeeper）或者是一个云平台的服务发现功能。

服务发现： 其他服务在需要与某个服务通信时，可以向服务注册表查询该服务的位置信息。
这样，服务可以根据服务注册表的信息来动态地确定目标服务的位置，而不是依赖于静态的配置。

服务注册与发现的优点包括：

• 动态性： 可以在运行时动态添加和移除服务，而不需要修改配置文件或重新启动应用程序。
• 弹性： 当某个服务不可用时，服务注册表可以及时更新，通知其他服务避免请求失败。
• 可扩展性： 适应于不断变化的服务数量和拓扑结构。
• 透明性： 对于服务的调用方来说，不需要知道服务的具体位置，减少了耦合。

服务注册与发现通常与其他工具和技术一起使用，例如负载均衡、健康检查、配置管理等，以构建更强大和可靠的分布式系统。这种模式在微服务架构中特别常见，有助于解决服务之间的协调和通信问题。

前端完全不需要记录这些后端服务的网络位置，前端和后端完全解耦！

2.Consul定义

Consul 是由 HashiCorp 公司开发的一套开源工具，用于实现服务发现、配置管理和分布式系统的协调。
Consul 提供了一系列功能，使得在分布式环境中构建和管理微服务体系结构变得更加容易。

主要特性包括：
服务发现： Consul 允许应用程序注册和发现服务。服务可以注册它们的位置（IP 地址和端口号），并提供元数据，其他服务可以查询 Consul 来发现并与这些服务通信。

健康检查： Consul 提供了健康检查机制，允许服务定期发送心跳检查，如果服务不健康，Consul 将从服务发现中移除该服务。

KV 存储： Consul 包含一个分布式键值存储系统，可以用于存储配置信息、特性开关等。
应用程序可以使用 Consul 的键值存储来动态获取配置信息。

分布式锁： Consul 提供了分布式锁的机制，用于协调多个节点之间的操作，防止竞争条件和数据冲突。

Session： 在 Consul 中，锁是与会话（Session）相关联的。会话是一种用于跟踪客户端与 Consul Agent 之间状态的机制。锁是与会话关联的，这样如果会话终止，锁也会被释放。

创建锁： 创建锁时，客户端请求 Consul 创建一个与指定键关联的锁。
这个键用于标识锁，而会话与这个锁相关联。

获取锁： 客户端尝试获取锁，通过向 Consul 发送请求，创建与锁关联的键。
如果这个键之前不存在，客户端就成功获取了锁。如果键已存在，表示其他客户端已经持有锁。

释放锁： 在完成任务后，持有锁的客户端可以显式释放锁，即删除与锁关联的键。
这样其他客户端有机会获取锁。

3.补充

多数据中心支持： Consul 支持多数据中心部署，允许构建全球范围内的分布式系统，并提供强大的数据中心间服务发现和复制功能。

DNS 和 HTTP API： Consul 提供 DNS 接口，使得可以使用域名来解析服务的位置。
此外，Consul 还提供了 HTTP API，通过该 API，可以与 Consul 进行交互，查询服务信息、执行健康检查等。

事件通知： Consul 支持事件通知机制，允许系统中的组件在关键事件发生时获得通知。

安装consul是用于服务注册，也就是容器本身的一些信息注册到consul里面，其他程序可以通过consul获取注册的相关服务信息，这就是服务注册与发现。
 

Consul部署

1.实验组件

20.0.0.10：consul服务器          运行consul服务、nginx服务、consul-template守护进程
20.0.0.20：registrator服务器     运行registrator容器、运行nginx容器

2.Consul服务器

建立Consul服务

mkdir /opt/consul
cd /opt/
--上传consul_0.9.2_linux_amd64.zip--
cp consul_0.9.2_linux_amd64.zip /opt/consul
cd /opt/consul
unzip consul_0.9.2_linux_amd64.zip
mv consul /usr/local/bin/

//设置代理，在后台启动 consul 服务端
consul agent \
-server \
-bootstrap \
-ui \
-data-dir=/var/lib/consul-data \
-bind=20.0.0.10 \
-client=0.0.0.0 \
-node=consul-server01 &> /var/log/consul.log &

----------------------------------------------------------------------------------------
consul agent: 启动 Consul Agent。

-server: 指定该节点是 Consul 集群中的服务器节点。Consul 使用 Raft 算法来实现分布式一致性，服务器节点是集群的成员。

-bootstrap: 表示该服务器节点是引导节点（bootstrap）。在集群的启动阶段，需要有一个引导节点，它将启动 Raft 领导者选举过程。在生产环境中，通常只有一个服务器节点配置为引导节点。在引导完成后，其他服务器节点会加入集群。

-ui: 启动 Consul 的用户界面（UI），使你可以通过浏览器访问 http://192.168.233.40:8500 来查看和管理 Consul 的状态和配置。

-data-dir=/var/lib/consul-data: 指定 Consul 存储数据的目录路径。

-bind=192.168.233.40: 指定 Consul 绑定的 IP 地址。该地址用于节点间的通信。

-client=0.0.0.0: 允许所有 IP 地址的客户端连接到 Consul。这是一个开发或测试环境中的设置。
在生产环境中，通常会限制只允许特定 IP 地址的客户端连接。

-node=consul-server01: 指定 Consul 节点的名称。每个节点在集群中都有唯一的名称。

&> /var/log/consul.log: 将 Consul 的日志输出到 /var/log/consul.log 文件中。

&: 在后台运行 Consul Agent。
----------------------------------------------------------------------------------------

netstat -natp | grep consul

----------------------------------------------------------------------------------------
#启动consul后默认会监听5个端口：
8300： 用于Raft协议的端口。Consul使用Raft算法进行分布式一致性，这个端口用于处理复制、领导者选举等。

8301： 用于LAN Gossip的端口。LAN Gossip是Consul中用于在局域网内进行节点间通信和信息传播的协议。

8302： 用于WAN Gossip的端口。WAN Gossip用于在广域网（WAN）中进行节点间的通信和信息传播。

8500： 用于Web UI的端口。Consul提供一个用户界面，可以通过这个端口访问，用于可视化地查看和管理Consul的集群状态。

8600： 用于DNS查询的端口。Consul提供DNS接口，可以通过这个端口进行DNS查询，以获取节点和服务的信息。
----------------------------------------------------------------------------------------

查看集群信息

#查看members状态
consul members

[root@pup1 consul]# consul members
Node             Address         Status  Type    Build  Protocol  DC
consul-server01  20.0.0.10:8301  alive   server  0.9.2  2         dc1

#查看集群状态
consul operator raft list-peers

[root@pup1 consul]# consul operator raft list-peers
Node             ID              Address         State   Voter  RaftProtocol
consul-server01  20.0.0.10:8300  20.0.0.10:8300  leader  true   2

consul info | grep leader

[root@pup1 consul]# consul info | grep leader
	leader = true
	leader_addr = 20.0.0.10:8300

通过http api获取集群信息

curl 127.0.0.1:8500/v1/status/peers 			#查看集群server成员
curl 127.0.0.1:8500/v1/status/leader			#集群 server-leader
curl 127.0.0.1:8500/v1/catalog/services			#注册的所有服务
curl 127.0.0.1:8500/v1/catalog/nginx			#查看 nginx 服务信息
curl 127.0.0.1:8500/v1/catalog/nodes			#集群节点详细信息

3.registrator服务器

//容器服务自动加入Nginx集群

安装 Gliderlabs/Registrator

Gliderlabs/Registrator 可检查容器运行状态自动注册，还可注销 docker 容器的服务到服务配置中心。
目前支持 Consul、Etcd 和 SkyDNS2。 

#客户端执行：
docker run -d \
--name=registrator \
-v /var/run/docker.sock:/tmp/docker.sock \
--restart=always \
gliderlabs/registrator:latest \
--ip=20.0.0.20 \
consul://20.0.0.10:8500

-------------------------------------------------------------------------------------------
-d: 以后台模式（detached mode）运行容器。

--name=registrator: 为容器指定一个名称为 "registrator"。

-v /var/run/docker.sock:/tmp/docker.sock: 将 Docker 守护进程的 UNIX 套接字（socket）映射到容器内的 /tmp/docker.sock。
这样 registrator 可以监听 Docker 事件并自动注册服务。

--restart=always: 在容器退出时总是重新启动容器。

gliderlabs/registrator:latest: 使用的 Docker 镜像是 gliderlabs/registrator，该镜像包含了 registrator 工具。

--ip=20.0.0.20: 指定 registrator 的 IP 地址为 20.0.0.20。
这是 registrator 在服务发现工具（Consul）中注册服务时使用的 IP 地址。

consul://20.0.0.10:8500: 指定 registrator 使用 Consul 作为服务发现工具，Consul 服务的地址是 20.0.0.10:8500。
-------------------------------------------------------------------------------------------

 测试服务发现功能是否正常

docker run -itd -p:83:80 --name test-1 -h test1 nginx
docker run -itd -p:84:80 --name test-2 -h test2 nginx
docker run -itd -p:88:80 --name test-3 -h test3 httpd
docker run -itd -p:89:80 --name test-4 -h test4 httpd
#-h：设置容器主机名

验证http和nginx服务是否注册到 consul

浏览器中，输入 http://20.0.0.10:8500，在 Web 页面中“单击 NODES”，然后单击“consurl-server01”，会出现 5 个服务。

//在consul服务器使用curl测试连接服务器
curl 127.0.0.1:8500/v1/catalog/services 
{"consul":[],"httpd":[],"nginx":[]}

 

Consul-template

1.Consul-template概述

consul-template 是 HashiCorp 公司开发的一个工具，用于与 Consul 集成，自动更新配置文件，并且可以与其他服务一起使用，以便实现配置管理的自动化。

以下是 consul-template 的一些主要作用：

• 动态配置更新： consul-template 监听 Consul 中的 key-value 存储，并在这些值发生更改时自动更新配置文件。这使得可以实现无需重启服务的动态配置更新。
• 模板渲染： 允许用户在配置文件中使用模板语言（例如 Go 的 text/template）编写动态的配置。这样，可以将 Consul 中的数据插入到配置文件中，根据需要动态生成配置。
• 与服务发现集成： consul-template 可以与 Consul 的服务发现功能集成，通过查询 Consul 中的服务信息，将服务的 IP 地址和端口等信息注入到配置文件中，从而简化服务之间的通信配置。
• 支持多种后端： 除了与 Consul 集成之外，consul-template 还支持多种后端，如 Vault、Amazon SSM Parameter Store、etcd 等，这使得它能够适应不同的环境和配置管理需求。
• 用于不同类型的应用： consul-template 不仅适用于 Web 服务器和应用程序的配置文件，还可以用于配置代理服务器、数据库连接等各种类型的应用。

使用 consul-template 的主要优势在于简化了配置文件的管理和更新过程，提高了配置的灵活性和可维护性。
通过将动态配置与服务发现集成，可以更容易地构建具有弹性和自动化特性的分布式系统。

2.Consul-template部署

准备template nginx模板文件

//在consul服务器上操作
vim /opt/consul/nginx.ctmpl
#定义nginx upstream一个简单模板
upstream http_backend {
  {{range service "nginx"}}
   server {{.Address}}:{{.Port}};
   {{end}}
}

-------------------------------------------------------------------------------------------
在这个配置中，{{range service "nginx"}} 遍历了由 Consul 注册的所有服务名称为 "nginx" 的服务。
然后，对于每个服务实例，server {{.Address}}:{{.Port}}; 将服务的地址和端口添加到 http_backend 的 upstream 中。

这样的配置允许 Nginx 动态地发现和负载均衡由 Consul 注册的所有 "nginx" 服务的实例。
这对于构建基于微服务架构的应用程序的负载均衡是非常有用的。
-------------------------------------------------------------------------------------------

#定义一个server，监听8000端口，反向代理到upstream
server {
    listen 8000;
    server_name localhost 20.0.0.10;
    access_log /var/log/nginx/test.com-access.log;
    index index.html index.php;
    location / {
        proxy_set_header HOST $host;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_set_header Client-IP $remote_addr;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
        proxy_pass http://http_backend;
    }
}

编译安装nginx

yum -y install pcre-devel zlib-devel gcc gcc-c++ make
useradd -M -s /sbin/nologin nginx
cd /opt
--上传nginx-1.22.0.tar.gz--
tar zxvf nginx-1.22.0.tar.gz -C /opt/
cd /opt/nginx-1.22.0/
./configure --prefix=/usr/local/nginx --user=nginx --group=nginx && make -j 4 && make install

ln -s /usr/local/nginx/sbin/nginx /usr/local/sbin/

配置nginx

vim /usr/local/nginx/conf/nginx.conf
......
http {
     include       mime.types;
     include  vhost/*.conf;       				#添加虚拟主机目录
     default_type  application/octet-stream;
......

//创建虚拟主机目录
mkdir /usr/local/nginx/conf/vhost

//创建日志文件目录
mkdir /var/log/nginx

//启动nginx
nginx

配置并启动template

cd /opt
--上传consul-template_0.19.3_linux_amd64.zip--
unzip consul-template_0.19.3_linux_amd64.zip -d /opt/
mv consul-template /usr/local/bin/

//在前台启动 template 服务，启动后不要按 ctrl+c 中止 consul-template 进程。
consul-template --consul-addr 20.0.0.10:8500 \
--template "/opt/consul/nginx.ctmpl:/usr/local/nginx/conf/vhost/test.conf:/usr/local/nginx/sbin/nginx -s reload" \
--log-level=info

-------------------------------------------------------------------------------------------
--consul-addr 20.0.0.10:8500: 指定 Consul 的地址，这是 consul-template 用于获取数据的 Consul 地址。

--template "/opt/consul/nginx.ctmpl:/usr/local/nginx/conf/vhost/test.conf:/usr/local/nginx/sbin/nginx -s reload": 模板的定义，
由三个部分组成。第一部分是模板文件的路径 (/opt/consul/nginx.ctmpl)，
第二部分是生成的配置文件的目标路径 (/usr/local/nginx/conf/vhost/test.conf)，
第三部分是在重新加载配置时执行的命令 (/usr/local/nginx/sbin/nginx -s reload)。

--log-level=info: 设置 consul-template 的日志级别为 "info"。

该命令的主要作用是监视 Consul 中的数据变化，当数据发生变化时，consul-template 将使用指定的模板生成配置文件，并执行重新加载 Nginx 的命令，以使新的配置生效。
-------------------------------------------------------------------------------------------

//另外打开一个终端查看生成配置文件
cat /usr/local/nginx/conf/vhost/test.conf 

访问template-nginx

//在registrator服务器
docker ps -a

[root@pup2 ~]# docker ps -a
CONTAINER ID   IMAGE                           COMMAND                  CREATED       STATUS       PORTS                               NAMES
c3519db609ed   httpd                           "httpd-foreground"       2 hours ago   Up 2 hours   0.0.0.0:89->80/tcp, :::89->80/tcp   test-4
2e9e1c77212c   httpd                           "httpd-foreground"       2 hours ago   Up 2 hours   0.0.0.0:88->80/tcp, :::88->80/tcp   test-3
2e80e873b98e   nginx                           "/docker-entrypoint.…"   2 hours ago   Up 2 hours   0.0.0.0:84->80/tcp, :::84->80/tcp   test-2
5c8fc6b4aa61   nginx                           "/docker-entrypoint.…"   2 hours ago   Up 2 hours   0.0.0.0:83->80/tcp, :::83->80/tcp   test-1
17dc646fdbca   gliderlabs/registrator:latest   "/bin/registrator --…"   2 hours ago   Up 2 hours                                       registrator
[root@pup2 ~]# docker exec -it 5c8fc6b4aa61 bash
root@test1:/# echo "this is test1 web" > /usr/share/nginx/html/index.html
root@test1:/# exit
exit
[root@pup2 ~]# docker exec -it 2e80e873b98e bash
root@test2:/# echo "this is test2 web" > /usr/share/nginx/html/index.html

浏览器访问：http://20.0.0.10:8000/ ，并不断刷新。

增加一个nginx容器节点

//增加一个 nginx 容器节点，测试服务发现及配置更新功能。
docker run -itd -p:85:80 --name test-5 -h test5 nginx

//观察 template 服务，会从模板更新/usr/local/nginx/conf/vhost/kgc.conf 文件内容，并且重载 nginx 服务。

Consul多节点部署

//添加一台已有docker环境的服务器20.0.0.30加入已有的群集中
consul agent \
-server \
-ui \
-data-dir=/var/lib/consul-data \
-bind=20.0.0.30 \
-client=0.0.0.0 \
-node=consul-server02 \
-enable-script-checks=true  \
-datacenter=dc1  \
-join 20.0.0.10 &> /var/log/consul.log &

-------------------------------------------------------------------------------------------
-enable-script-checks=true ：设置检查服务为可用
-datacenter : 数据中心名称
-join ：加入到已有的集群中
-------------------------------------------------------------------------------------------

 

脱离集群

consul leave