etcd集群采用raft算法选举Leader, 最小raft集群需要3个参与者,所以一个etcd集群最少需要3台虚拟机.
1. 准备
1.1 准备环境
准备三台CentOS7.3主机,主机名分别为etcd1, etcd2, etcd3
etcd1: 10.62.232.41
etcd2: 10.62.232.42
etcd3: 10.62.232.43
1.2 环境配置
在每台主机上运行以下命令:
cat >> /etc/hosts <
如果需要启动防火墙,请确保打开官方给出的etcd端口, 官方端口号查询
这里简单粗暴的禁用防火墙
systemctl stop firewalld
systemctl disable firewalld
禁用Selinux
setenforce 0
vi /etc/selinux/config
SELINUX=disabled
2. TLS 密钥和证书
使用TLS证书对通信进行加密,并开启即与CA根证书签名的双向认证
2.1 建立目录
每台主机都要确保以下目录存在
- 证书目录:
/etc/ssl/etcd/ssl/
- 数据目录:
/var/lib/etcd/
mkdir -p /etc/ssl/etcd/ssl/
mkdir -p /var/lib/etcd/
2.2 创建CA证书和私钥
有很多方式可以创建CA证书和私钥,其中比较流行的有两种
- openssl
- cfssl
这里使用openssl来生成私钥ca.key和证书ca.crt
登录etcd1主机, 运行以下命令
mkdir -p /xiak/ssl
cd /xiak/ssl
openssl genrsa -out ca.key 2048
openssl req -x509 -new -nodes -key ca.key -subj "/CN=xiak" -days 10000 -out ca.crt
2.3 创建etcd证书和私钥
接下来我们通过之前生成的CA证书和私钥生成etcd的证书和私钥,整个过程需要5步:
- 创建配置文件etcd-ca.conf
cd /xiak/ssl
cat > /xiak/ssl/etcd-ca.conf <
- 生成密钥
openssl genrsa -out etcd.key 2048
- 生成证书签发请求(certificate signing request)
openssl req -new -key etcd.key -out etcd.csr -config etcd-ca.conf
- 生成证书
openssl x509 -req -in etcd.csr -CA ca.crt -CAkey ca.key \
-CAcreateserial -out etcd.crt -days 10000 \
-extensions v3_ext -extfile etcd-ca.conf
- 验证证书
openssl verify -CAfile ca.crt etcd.crt
3 安装etcd
3.1 安装证书
将CA证书ca.crt, etcd证书etcd.crt和秘钥etcd.key, 拷贝到各节点的/etc/ssl/etcd/ssl/目录中。
3.2 下载etcd二进制包
在每个节点上下载etcd二进制包
mkdir -p /xiak/pkg
cd /xiak/pkg
wget https://github.com/coreos/etcd/releases/download/v3.3.8/etcd-v3.3.8-linux-amd64.tar.gz
3.3 安装etcd二进制包
解压缩etcd-v3.3.5-linux-amd64.tar.gz,将其中的etcd和etcdctl两个可执行文件复制到各节点的/usr/bin目录
cd /xiak/pkg
tar -zxvf etcd-v3.3.8-linux-amd64.tar.gz
cd ./etcd-v3.3.8-linux-amd64/
cp {etcd,etcdctl} /usr/local/bin
3.4 以systemd形式管理etcd服务
在每个节点上创建etcd的systemd unit文件/usr/lib/systemd/system/etcd.service
在etcd1主机上执行以下命令集
```bash
mkdir -p /etc/etcd/
cat > /etc/etcd/etcd.conf < /usr/lib/systemd/system/etcd.service <
详细配置见etcd configuration
etcd2和etcd3主机需要修改
ETCD_NAME=etcd(2或3)
ETCD_ADVERTISE_CLIENT_URLS=https://10.62.232.(42或43):2379
ETCD_INITIAL_ADVERTISE_PEER_URLS=https://10.62.232.(42或43):2380
ETCD_LISTEN_CLIENT_URLS=https://10.62.232.(42或43):2379,https://127.0.0.1:2379
ETCD_LISTEN_PEER_URLS=https://10.62.232.(42或43):2380
3.5 启动etcd:
在各个节点运行
systemctl daemon-reload
systemctl enable etcd
systemctl start etcd
systemctl status etcd
只有一个节点启动etcd服务后,etcd会去访问其他两个节点的2380端口,如果一定时间内无法访问,则会服务启动失败。所以应当迅速启动至少两个节点,服务才会成功启动。
3.6 检查集群是否健康:
在任意节点运行
etcdctl \
--ca-file=/etc/ssl/etcd/ssl/ca.crt \
--cert-file=/etc/ssl/etcd/ssl/etcd.crt \
--key-file=/etc/ssl/etcd/ssl/etcd.key \
--endpoints=https://10.62.232.41:2379,https://10.62.232.42:2379,https://10.62.232.43:2379 \
cluster-health
看到cluster is healthy的输出,说明etcd集群部署成功。