原文地址:gRPC proxy
gRPC代理是在gRPC层(L7)运行的无状态etcd反向代理。代理旨在减少核心etcd群集上的总处理负载。对于水平可伸缩性,它合并了监视和租约API请求。 为了保护集群免受滥用客户端的侵害,它会缓存关键范围请求。
gRPC代理支持多个etcd服务器端点。 代理启动时,它会随机选择一个etcd服务器端点来使用.该端点将处理所有请求,直到代理检测到端点故障为止。 如果gRPC代理检测到端点故障,它将切换到其他端点(如果有)以向其客户端隐藏故障。 将来可能会支持其他重试策略,例如加权轮询。
可扩展的监视 API
gRPC代理将同一键或范围上的多个客户端监视程序(c-watcher)合并为连接到etcd服务器的单个监视程序(s-watcher)。 代理将所有事件从S-watcher广播到其c-watcher。
假设N个客户端监视相同的密钥,则一个gRPC代理可以将etcd服务器上的监视负载从N减少到1。用户可以部署多个gRPC代理来进一步分配服务器负载。
在以下示例中,三个客户端监视键A。gRPC代理将三个监视程序合并,从而创建一个附加到etcd服务器的监视程序。
+-------------+
| etcd 服务器 |
+------+------+
^ 监视 key A (s-watcher)
|
+-------+-----+
| gRPC 代理 | <-------+
| | |
++-----+------+ |监视 key A (c-watcher)
监视 key A ^ ^ 监视 key A |
(c-watcher) | | (c-watcher) |
+-------+-+ ++--------+ +----+----+
| 客户端 | | 客户端 | | 客户端 |
| | | | | |
+---------+ +---------+ +---------+
局限性
为了有效地将多个客户端监视程序合并为一个监视程序,gRPC代理在可能的情况下将新的c-watcher合并为现有的s-watcher。 由于网络延迟或缓冲的未传递事件,此合并的s-watcher可能与etcd服务器不同步。 如果未指定监视版本,则gRPC代理将不能保证c-watcher从最近的存储修订版本开始监视。 例如,如果客户端从具有修订版1000的etcd服务器监视,则该监视程序将从修订版1000开始。如果客户端从gRPC代理监视,则可以从修订版990开始监视。
类似的限制也适用于取消。 取消观察者后,etcd服务器的修订版可能大于取消响应修订版。
对于大多数用例,这两个限制不应引起问题。 将来,可能会有其他选项强制观察者绕过gRPC代理以获得更准确的修订响应。
可扩展的租约 API
为了保持其租约有效,客户端必须至少向一个etcd服务器建立一个gRPC流,以发送定期的心跳信号。 如果etcd工作负载涉及大量租约活动分布在许多客户端上,则这些流可能会导致CPU使用率过高。 为了减少核心群集上的流总数,该代理支持租约流合并。
假设N个客户端正在更新租约,则单个gRPC代理将etcd服务器上的流负载从N减少到1。部署中可能具有其他gRPC代理,以进一步在多个代理之间分配流。
在以下示例中,三个客户端更新了三个独立的租约(L1,L2和L3)。 gRPC代理将三个客户端租约流(c-stream)合并为连接到etcd服务器的单个租约保持活动流(s-stream)。 代理将客户端租用心跳从c流转发到s流,然后将响应返回到相应的c流。
+-------------+
| etcd 服务器 |
+------+------+
^
| 心跳 L1, L2, L3
| (s-stream)
v
+-------+-----+
| gRPC 代理 +<-----------+
+---+------+--+ | 心跳 L3
^ ^ | (c-stream)
心跳 L1 | | 心跳 L2 |
(c-stream) v v (c-stream) v
+------+-+ +-+------+ +-----+--+
| 客户端 | | 客户端 | | 客户端 |
+--------+ +--------+ +--------+
客户保护滥用
gRPC代理在不违反一致性要求时会缓存请求的响应。 这可以保护etcd服务器免遭严密for循环中滥用客户端的侵害。
启动etcd gRPC代理
考虑一个etcd集群包括以下几个静态端点:
|名字|地址|主机名|
|---|---|---|
|infra0|10.0.1.10|infra0.example.com|
|infra1|10.0.1.11|infra1.example.com|
|infra2|10.0.1.12|infra2.example.com|
通过以下命令使用静态节点启动gRPC代理:
$ etcd grpc-proxy start --endpoints=infra0.example.com,infra1.example.com,infra2.example.com --listen-addr=127.0.0.1:2379
etcd gRPC启动并监听端口2379.它将客户端请求转发到上面提供的三个端点之一。
通过代理发送请求:
$ ETCDCTL_API=3 etcdctl --endpoints=127.0.0.1:2379 put foo bar
OK
$ ETCDCTL_API=3 etcdctl --endpoints=127.0.0.1:2379 get foo
foo
bar
客户端端点同步和名称解析
代理支持通过写入用户定义的端点来注册其端点以进行发现。 这有两个目的。 首先,它允许客户端将其端点与一组代理端点同步,以实现高可用性。 其次,它是etcd gRPC命名的端点提供程序。
通过提供用户定义的前缀来注册代理:
$ etcd grpc-proxy start --endpoints=localhost:2379 \
--listen-addr=127.0.0.1:23790 \
--advertise-client-url=127.0.0.1:23790 \
--resolver-prefix="___grpc_proxy_endpoint" \
--resolver-ttl=60
$ etcd grpc-proxy start --endpoints=localhost:2379 \
--listen-addr=127.0.0.1:23791 \
--advertise-client-url=127.0.0.1:23791 \
--resolver-prefix="___grpc_proxy_endpoint" \
--resolver-ttl=60
代理将会列出成员列表中的所有成员:
ETCDCTL_API=3 etcdctl --endpoints=http://localhost:23790 member list --write-out table
+----+---------+--------------------------------+------------+-----------------+
| ID | STATUS | NAME | PEER ADDRS | CLIENT ADDRS |
+----+---------+--------------------------------+------------+-----------------+
| 0 | started | Gyu-Hos-MBP.sfo.coreos.systems | | 127.0.0.1:23791 |
| 0 | started | Gyu-Hos-MBP.sfo.coreos.systems | | 127.0.0.1:23790 |
+----+---------+--------------------------------+------------+-----------------+
这使客户端可以通过Sync自动发现代理端点:
cli, err := clientv3.New(clientv3.Config{
Endpoints: []string{"http://localhost:23790"},
})
if err != nil {
log.Fatal(err)
}
defer cli.Close()
// fetch registered grpc-proxy endpoints
if err := cli.Sync(context.Background()); err != nil {
log.Fatal(err)
}
注意,如果配置的代理没有解析程序前缀,
$ etcd grpc-proxy start --endpoints=localhost:2379 \
--listen-addr=127.0.0.1:23792 \
--advertise-client-url=127.0.0.1:23792
grpc-proxy的成员列表API返回其自己的advertise-client-url
:
ETCDCTL_API=3 etcdctl --endpoints=http://localhost:23792 member list --write-out table
+----+---------+--------------------------------+------------+-----------------+
| ID | STATUS | NAME | PEER ADDRS | CLIENT ADDRS |
+----+---------+--------------------------------+------------+-----------------+
| 0 | started | Gyu-Hos-MBP.sfo.coreos.systems | | 127.0.0.1:23792 |
+----+---------+--------------------------------+------------+-----------------+
命名空间
假设一个应用程序期望对整个键空间有完全控制,但是etcd集群与其他应用程序共享。 为了使所有应用程序都不会相互干扰地运行,代理可以对etcd键空间进行分区,以便客户端可以访问完整的键空间。 当给代理提供标志--namespace
时,所有进入代理的客户端请求都将转换为在键上具有用户定义的前缀。 对etcd集群的访问将在前缀下,而来自代理的响应将删除该前缀;对于客户端,显然根本没有前缀。
要为代理命名空间,请通过--namespace
启动:
$ etcd grpc-proxy start --endpoints=localhost:2379 \
--listen-addr=127.0.0.1:23790 \
--namespace=my-prefix/
现在,对代理的访问在etcd集群上透明地加上前缀:
$ ETCDCTL_API=3 etcdctl --endpoints=localhost:23790 put my-key abc
# OK
$ ETCDCTL_API=3 etcdctl --endpoints=localhost:23790 get my-key
# my-key
# abc
$ ETCDCTL_API=3 etcdctl --endpoints=localhost:2379 get my-prefix/my-key
# my-prefix/my-key
# abc
TLS终端
使用来自安全etcd群集的TLS的gRPC代理终端为未加密的本地端点提供服务.
使用客户端https启动单个成员etcd集群尝试:
$ etcd --listen-client-urls https://localhost:2379 --advertise-client-urls https://localhost:2379 --cert-file=peer.crt --key-file=peer.key --trusted-ca-file=ca.crt --client-cert-auth
确认客户端端口正在提供https:
# fails
$ ETCDCTL_API=3 etcdctl --endpoints=http://localhost:2379 endpoint status
# works
$ ETCDCTL_API=3 etcdctl --endpoints=https://localhost:2379 --cert=client.crt --key=client.key --cacert=ca.crt endpoint status
接下来,通过使用客户端证书连接到etcd端点https://localhost2379
在localhost:12379
上启动gRPC代理:
$ etcd grpc-proxy start --endpoints=https://localhost:2379 --listen-addr localhost:12379 --cert client.crt --key client.key --cacert=ca.crt --insecure-skip-tls-verify &
最后,通过在http上将密钥放入代理来测试TLS终端:
$ ETCDCTL_API=3 etcdctl --endpoints=http://localhost:12379 put abc def
# OK
指标和健康
gRPC代理为--endpoints
定义的etcd成员公开了/health
和Prometheus/metrics
端点。 另一种方法是定义一个附加URL,该URL将使用--metrics-addr
参数来响应/metrics
和/health
端点。
$ etcd grpc-proxy start \
--endpoints https://localhost:2379 \
--metrics-addr https://0.0.0.0:4443 \
--listen-addr 127.0.0.1:23790 \
--key client.key \
--key-file proxy-server.key \
--cert client.crt \
--cert-file proxy-server.crt \
--cacert ca.pem \
--trusted-ca-file proxy-ca.pem
已知问题
代理的主接口同时服务于HTTP2和HTTP/1.1。如果如上例所示,使用TLS设置了代理,则在监听接口上使用诸如cURL之类的客户端时,将要求在返回/metrics
或/health
的请求上将协议显式设置为HTTP/1.1。通过使用--metrics-addr
参数,辅助接口将没有此要求。
$ curl --cacert proxy-ca.pem --key proxy-client.key --cert proxy-client.crt https://127.0.0.1:23790/metrics --http1.1