Etcd教程 — 第四章 Etcd集群安全配置

前言

本文是在 Etcd教程 — 第二章 Etcd集群静态发现 2.3节 基础上进行的。

1 TLS 与 SSL

互联网的通信安全，建立在 SSL/TLS 协议之上。不使用 SSL/TLS 的 HTTP 通信，就是不加密的通信。所有信息明文传播，带来了三大风险：

• 窃听风险（eavesdropping）：第三方可以获知通信内容。
• 篡改风险（tampering）：第三方可以修改通信内容。
• 冒充风险（pretending）：第三方可以冒充他人身份参与通信。

SSL/TLS 协议是为了解决这三大风险而设计的，希望达到：

• 所有信息都是加密传播，第三方无法窃听。
• 具有校验机制，一旦被篡改，通信双方会立刻发现。
• 配备身份证书，防止身份被冒充。

想要实现数据 HTTPS 加密协议访问，保障数据的安全，就需要 SSL 证书，TLS 是 SSL 与 HTTPS 安全传输层协议名称。

2 下载安装

为了进行实践，我们将会安装一些实用的命令行工具，其中包括 cfssl、cfssljson。

cfssl 是 CloudFlare 的 PKI/TLS 利器。 它既是命令行工具，又可以用于签名，验证和捆绑 TLS 证书的 HTTP API 服务器，环境构建方面需要 Go 1.12+。

cfssljson 程序，从 cfssl 获取 JSON 输出，并将证书、密钥、CSR和 bundle 写入指定位置。

2.1 选择cfssl版本

在 https://github.com/cloudflare/cfssl/releases 可以看到最新版本的目前是1.6.1

2.2 下载 cfssl

在/usr/local/src 下载

cd /usr/local/src

wget https://github.com/cloudflare/cfssl/releases/download/v1.6.1/cfssl_1.6.1_linux_amd64

wget https://github.com/cloudflare/cfssl/releases/download/v1.6.1/cfssljson_1.6.1_linux_amd64

wget https://github.com/cloudflare/cfssl/releases/download/v1.6.1/cfssl-certinfo_1.6.1_linux_amd64

#拷贝文件到/usr/local/bin/目录下

cp cfssl_1.6.1_linux_amd64 /usr/local/bin/cfssl

cp cfssljson_1.6.1_linux_amd64 /usr/local/bin/cfssljson

cp cfssl-certinfo_1.6.1_linux_amd64 /usr/local/bin/cfssl-certinfo

2.3 赋予执行权限

chmod +x /usr/local/bin/cfssl*

2.4 查看安装结果

cfssl version

结果：

[root@etcd01 src]# cfssl version
Version: 1.6.1
Runtime: go1.12.12

3 TLS 加密实践

3.1 介绍

client certificate： 用于服务端认证客户端,例如etcdctl、etcd proxy、fleetctl、docker客户端。
server certificate: 服务端使用，客户端以此验证服务端身份,例如docker服务端、kube-apiserver。
peer certificate: 双向证书，用于etcd集群成员间通信。

3.2 配置CA并创建TLS证书

仅需要在单个节点上生成相关证书即可，然后再把证书复制到其他节点上。

3.2.1 创建ca配置文件 (ca-config.json)

"ca-config.json"：可以定义多个 profiles，分别指定不同的过期时间、使用场景等参数；后续在签名证书时使用某个 profile；

"signing"：表示该证书可用于签名其它证书；生成的 ca.pem 证书中 CA=TRUE；

"server auth"：表示client可以用该 CA 对server提供的证书进行验证；

"client auth"：表示server可以用该CA对client提供的证书进行验证；

在 /opt/cfssl/ 下创建配置文件

vim ca-config.json

{
    "signing": {
        "default": {
            "expiry": "87600h"
        },
        "profiles": {
            "etcd": {
                "expiry": "87600h",
                "usages": [
                    "signing",
                    "key encipherment",
                    "server auth",
                    "client auth"
                ]
            }
        }
    }
}

3.2.2 创建ca证书签名(ca-csr.json)

“CN”：Common Name，从证书中提取该字段作为请求的用户名 (User Name)；浏览器使用该字段验证网站是否合法；
“O”：Organization，从证书中提取该字段作为请求用户所属的组 (Group)；
这两个参数在后面的kubernetes启用RBAC模式中很重要，因为需要设置kubelet、admin等角色权限，那么在配置证书的时候就必须配置对了，具体后面在部署kubernetes的时候会进行讲解。
“在etcd这两个参数没太大的重要意义，跟着配置就好。”

创建配置文件

vim ca-csr.json

{
    "CN": "etcd CA",
    "key": {
        "algo": "rsa",
        "size": 2048
    },
    "names": [
        {
            "C": "CN",
            "L": "shanghai",
            "ST": "shanghai"
        }
    ]
}

3.2.3 生成ca证书和私钥

cfssl gencert -initca ca-csr.json | cfssljson -bare ca

ls
ca-config.json  ca-csr.json ca.csr ca.pem(ca公钥) ca-key.pem(ca私钥,妥善保管)

3.3 生成etcd server端证书

3.3.1 新建ca配置文件 (server-csr.json)

vim server-csr.json

{
    "CN": "etcd",
    "key": {
        "algo": "rsa",
        "size": 2048
    },
    "hosts": [
    "192.168.1.221",
    "192.168.1.222",
    "192.168.1.223"
    ],
    "names": [
        {
            "C": "CN",
            "L": "shanghai",
            "ST": "shanghai"
        }
    ]
}

3.3.2 生成etcd server证书和私钥

cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json -profile=etcd server-csr.json | cfssljson -bare server

ls
ca-config.json  ca-csr.json  ca-key.pem  ca.csr  ca.pem  server-csr.json  server-key.pem  server.csr  server.pem

3.4 复制证书到另外两台主机

将证书放到其他节点的同个位置上。

4 Etcd集群加入TLS证书

4.1 Etcd集群各节点信息

4.2 Etcd集群各节点配置

编辑各节点上的配置文件

vim /etc/etcd/etcd.conf

加入TLS证书的配置

# [Security]
ETCD_TRUSTED_CA_FILE="/opt/cfssl/ca.pem"
ETCD_CERT_FILE="/opt/cfssl/server.pem"
ETCD_KEY_FILE="/opt/cfssl/server-key.pem"
ETCD_PEER_TRUSTED_CA_FILE="/opt/cfssl/ca.pem"
ETCD_PEER_CERT_FILE="/opt/cfssl/server.pem"
ETCD_PEER_KEY_FILE="/opt/cfssl/server-key.pem"

ETCD_CLIENT_CERT_AUTH="true"
ETCD_AUTO_TLS="true"
ETCD_PEER_CLIENT_CERT_AUTH="true"
ETCD_PEER_AUTO_TLS="true"

4.2.1 节点1完整配置

#########################################################
########### 请根据各节点服务器实际情况修改配置 ############
#########################################################
#[Member]
#1.节点名称，必须唯一
ETCD_NAME="etcd01"
 
#2.设置数据保存的目录
ETCD_DATA_DIR="/var/lib/etcd"
 
#3.本节点机器用于监听其他节点的url，url是本机上的2380
ETCD_LISTEN_PEER_URLS="http://192.168.1.221:2380"
 
#4.建议本节点用于和其他节点之间通信的url，且会通告集群的其余成员节点
ETCD_INITIAL_ADVERTISE_PEER_URLS="http://192.168.1.221:2380"

#5.本节点机器用于和客户端通信的url，url是本机上的 2379
ETCD_LISTEN_CLIENT_URLS="http://192.168.1.221:2379,http://127.0.0.1:2379"
 
#[Clustering]
#6.建议本节点和客户端通信使用的url
ETCD_ADVERTISE_CLIENT_URLS="http://192.168.1.221:2379"
 
#7.集群中所有节点的信息
ETCD_INITIAL_CLUSTER="etcd01=http://192.168.1.221:2380,etcd02=http://192.168.1.222:2380,etcd03=http://192.168.1.223:2380"
 
#8.创建集群的token，这个值每个集群均相同
ETCD_INITIAL_CLUSTER_TOKEN="148e7b13-51fc-4cc8-965b-a7c9d58c18f5"
 
#9.初始集群状态，新建集群的时候，这个值为new,后续再启动时需要将“new”更改为“existing”
ETCD_INITIAL_CLUSTER_STATE="new"
 
#10.flannel操作etcd使用的是v2的API，而kubernetes操作etcd使用的v3的API
#   为了兼容flannel，将默认开启v2版本，故配置文件中设置 
ETCD_ENABLE_V2="true"

# [Security]
ETCD_TRUSTED_CA_FILE="/opt/cfssl/ca.pem"
ETCD_CERT_FILE="/opt/cfssl/server.pem"
ETCD_KEY_FILE="/opt/cfssl/server-key.pem"
ETCD_PEER_TRUSTED_CA_FILE="/opt/cfssl/ca.pem"
ETCD_PEER_CERT_FILE="/opt/cfssl/server.pem"
ETCD_PEER_KEY_FILE="/opt/cfssl/server-key.pem"

ETCD_CLIENT_CERT_AUTH="true"
ETCD_AUTO_TLS="true"
ETCD_PEER_CLIENT_CERT_AUTH="true"
ETCD_PEER_AUTO_TLS="true"

4.2.2 节点2完整配置

#########################################################
########### 请根据各节点服务器实际情况修改配置 ############
#########################################################
#[Member]
#1.节点名称，必须唯一
ETCD_NAME="etcd02"
 
#2.设置数据保存的目录
ETCD_DATA_DIR="/var/lib/etcd"
 
#3.本节点机器用于监听其他节点的url，url是本机上的2380
ETCD_LISTEN_PEER_URLS="http://192.168.1.222:2380"
 
#4.建议本节点用于和其他节点之间通信的url，且会通告集群的其余成员节点
ETCD_INITIAL_ADVERTISE_PEER_URLS="http://192.168.1.222:2380"

#5.本节点机器用于和客户端通信的url，url是本机上的 2379
ETCD_LISTEN_CLIENT_URLS="http://192.168.1.222:2379,http://127.0.0.1:2379"
 
#[Clustering]
#6.建议本节点和客户端通信使用的url
ETCD_ADVERTISE_CLIENT_URLS="http://192.168.1.222:2379"
 
#7.集群中所有节点的信息
ETCD_INITIAL_CLUSTER="etcd01=http://192.168.1.221:2380,etcd02=http://192.168.1.222:2380,etcd03=http://192.168.1.223:2380"
 
#8.创建集群的token，这个值每个集群均相同
ETCD_INITIAL_CLUSTER_TOKEN="148e7b13-51fc-4cc8-965b-a7c9d58c18f5"
 
#9.初始集群状态，新建集群的时候，这个值为new,后续再启动时需要将“new”更改为“existing”
ETCD_INITIAL_CLUSTER_STATE="new"
 
#10.flannel操作etcd使用的是v2的API，而kubernetes操作etcd使用的v3的API
#   为了兼容flannel，将默认开启v2版本，故配置文件中设置 
ETCD_ENABLE_V2="true"

# [Security]
ETCD_TRUSTED_CA_FILE="/opt/cfssl/ca.pem"
ETCD_CERT_FILE="/opt/cfssl/server.pem"
ETCD_KEY_FILE="/opt/cfssl/server-key.pem"
ETCD_PEER_TRUSTED_CA_FILE="/opt/cfssl/ca.pem"
ETCD_PEER_CERT_FILE="/opt/cfssl/server.pem"
ETCD_PEER_KEY_FILE="/opt/cfssl/server-key.pem"

ETCD_CLIENT_CERT_AUTH="true"
ETCD_AUTO_TLS="true"
ETCD_PEER_CLIENT_CERT_AUTH="true"
ETCD_PEER_AUTO_TLS="true"

4.2.3 节点3完整配置

#########################################################
########### 请根据各节点服务器实际情况修改配置 ############
#########################################################
#[Member]
#1.节点名称，必须唯一
ETCD_NAME="etcd03"
 
#2.设置数据保存的目录
ETCD_DATA_DIR="/var/lib/etcd"
 
#3.本节点机器用于监听其他节点的url，url是本机上的2380
ETCD_LISTEN_PEER_URLS="http://192.168.1.223:2380"
 
#4.建议本节点用于和其他节点之间通信的url，且会通告集群的其余成员节点
ETCD_INITIAL_ADVERTISE_PEER_URLS="http://192.168.1.223:2380"

#5.本节点机器用于和客户端通信的url，url是本机上的 2379
ETCD_LISTEN_CLIENT_URLS="http://192.168.1.223:2379,http://127.0.0.1:2379"
 
#[Clustering]
#6.建议本节点和客户端通信使用的url
ETCD_ADVERTISE_CLIENT_URLS="http://192.168.1.223:2379"
 
#7.集群中所有节点的信息
ETCD_INITIAL_CLUSTER="etcd01=http://192.168.1.221:2380,etcd02=http://192.168.1.222:2380,etcd03=http://192.168.1.223:2380"
 
#8.创建集群的token，这个值每个集群均相同
ETCD_INITIAL_CLUSTER_TOKEN="148e7b13-51fc-4cc8-965b-a7c9d58c18f5"
 
#9.初始集群状态，新建集群的时候，这个值为new,后续再启动时需要将“new”更改为“existing”
ETCD_INITIAL_CLUSTER_STATE="new"
 
#10.flannel操作etcd使用的是v2的API，而kubernetes操作etcd使用的v3的API
#   为了兼容flannel，将默认开启v2版本，故配置文件中设置 
ETCD_ENABLE_V2="true"

# [Security]
ETCD_TRUSTED_CA_FILE="/opt/cfssl/ca.pem"
ETCD_CERT_FILE="/opt/cfssl/server.pem"
ETCD_KEY_FILE="/opt/cfssl/server-key.pem"
ETCD_PEER_TRUSTED_CA_FILE="/opt/cfssl/ca.pem"
ETCD_PEER_CERT_FILE="/opt/cfssl/server.pem"
ETCD_PEER_KEY_FILE="/opt/cfssl/server-key.pem"

ETCD_CLIENT_CERT_AUTH="true"
ETCD_AUTO_TLS="true"
ETCD_PEER_CLIENT_CERT_AUTH="true"
ETCD_PEER_AUTO_TLS="true"

4.3 清除旧数据

修改各节点/etc/etcd/etcd.conf文件后，要先删除/var/lib/etcd目录下保存的数据。

cd /var/lib/etcd && rm -rf *

注意：删除后需要加入权限，否则在启动时可能会失败，报错原因是没有权限

{“level”:“warn”,“ts”:1656209184.8809907,“caller”:“fileutil/fileutil.go:57”,“msg”:“check file permission”,“error”:“directory “/var/lib/etcd” exist, but the permission is “drwxr-xr-x”. The recommended permission is “-rwx------” to prevent possible unprivileged access to the data”}

chmod 700 /var/lib/etcd/ -R

4.4 启动/查看etcd服务

systemctl daemon-reload && systemctl enable etcd && systemctl start etcd && systemctl status etcd

启动结果：

4.5 停止/重启：

systemctl stop etcd
systemctl restart etcd

4.6 验证

通过三台服务器的控制台可以知道，集群已经成功建立，我们进行验证：

4.6.1 命令中不加入证书配置

查看集群健康状态：

etcdctl endpoint health

显示结果：

127.0.0.1:2379 is healthy: successfully committed proposal: took = 18.521778ms

查看集群成员：

etcdctl member list

显示结果：

3f165fc003d39e4, started, etcd02, http://192.168.1.222:2380, http://192.168.1.222:2379, false
5d2b35506710acb7, started, etcd03, http://192.168.1.223:2380, http://192.168.1.223:2379, false
803d149841581109, started, etcd01, http://192.168.1.221:2380, http://192.168.1.221:2379, false

写操作：

[root@etcd01 etcd]# etcdctl put hello world
OK

读操作：

[root@etcd01 etcd]# etcdctl get hello
hello
world

本节点上进行的写操作，也能在其他节点上使用读操作查看到写入的信息。

4.6.2 命令中加入证书配置【待定】

查看集群健康状态：

etcdctl --cacert=/opt/cfssl/ca.pem --cert=/opt/cfssl/server.pem --key=/opt/cfssl/server-key.pem --endpoints="https://192.168.1.221:2379,https://192.168.1.222:2379,https://192.168.1.223:2379"  endpoint health

# 会报错，暂未找到解决办法，可能目前的版本再查看集群健康状态时不需要加入证书配置【个人观点】：
{"level":"warn","ts":"2022-06-26T19:41:35.534+0800","logger":"client","caller":"v3/retry_interceptor.go:62","msg":"retrying of unary invoker failed","target":"etcd-endpoints://0xc0002db340/192.168.1.222:2379","attempt":0,"error":"rpc error: code = DeadlineExceeded desc = latest balancer error: last connection error: connection error: desc = \"transport: authentication handshake failed: EOF\""}
{"level":"warn","ts":"2022-06-26T19:41:35.534+0800","logger":"client","caller":"v3/retry_interceptor.go:62","msg":"retrying of unary invoker failed","target":"etcd-endpoints://0xc0002dafc0/192.168.1.223:2379","attempt":0,"error":"rpc error: code = DeadlineExceeded desc = latest balancer error: last connection error: connection error: desc = \"transport: authentication handshake failed: EOF\""}
{"level":"warn","ts":"2022-06-26T19:41:35.534+0800","logger":"client","caller":"v3/retry_interceptor.go:62","msg":"retrying of unary invoker failed","target":"etcd-endpoints://0xc0002db180/192.168.1.221:2379","attempt":0,"error":"rpc error: code = DeadlineExceeded desc = latest balancer error: last connection error: connection error: desc = \"transport: authentication handshake failed: EOF\""}
https://192.168.1.222:2379 is unhealthy: failed to commit proposal: context deadline exceeded
https://192.168.1.223:2379 is unhealthy: failed to commit proposal: context deadline exceeded
https://192.168.1.221:2379 is unhealthy: failed to commit proposal: context deadline exceeded

查看集群成员：

etcdctl --cacert=/opt/cfssl/ca.pem --cert=/opt/cfssl/server.pem --key=/opt/cfssl/server-key.pem --endpoints="https://192.168.1.221:2379,https://192.168.1.222:2379,https://192.168.1.223:2379"  member list

# 会报错，暂未找到解决办法，可能目前的版本再查看集群成员时不需要加入证书配置【个人观点】：
{"level":"warn","ts":"2022-06-26T19:44:17.789+0800","logger":"etcd-client","caller":"v3/retry_interceptor.go:62","msg":"retrying of unary invoker failed","target":"etcd-endpoints://0xc0002dac40/192.168.1.221:2379","attempt":0,"error":"rpc error: code = DeadlineExceeded desc = latest balancer error: last connection error: connection error: desc = \"transport: authentication handshake failed: EOF\""}
Error: context deadline exceeded

4.7 自动证书

如果集群需要加密的通信但不需要经过身份验证的连接，则可以将 etcd 配置为自动生成其密钥。 在初始化时，每个成员都基于其通告的 IP 地址和主机创建自己的密钥集。
在每台机器上，etcd 将使用以下标志启动：【示例】

$ etcd --name etcd1 --initial-advertise-peer-urls https://192.168.202.128:2380 \
  --listen-peer-urls https://192.168.202.128:2380 \
  --listen-client-urls https://192.168.202.128:2379,https://127.0.0.1:2379 \
  --advertise-client-urls https://10.0.1.10:2379 \
  --initial-cluster-token etcd-cluster-1 \
  --initial-cluster infra0=https://192.168.202.128:2380,infra1=https://192.168.202.129:2380,infra2=https://192.168.202.130:2380 \
  --initial-cluster-state new \
  --auto-tls \
  --peer-auto-tls

注意：由于自动签发证书并不认证身份，因此直接 curl 会返回错误。需要使用 curl 的 -k 命令屏蔽对证书链的校验。

5 总结

本文重点讲解了 etcd 集群的 TLS 安全认证配置，数据通信明文传播存在篡改、窃听、冒充等风险。互联网的通信安全，建立在 SSL/TLS 协议之上。基于 cfssl 工具，验证并且捆绑 TLS 证书，为 etcd 集群成员之间的通信保驾护航。