etcd群集部署

目录

一、etcd 安装

二、单节点etcd

三、部署etcd群集

四、群集搭建需注意的几点

五、etcd web管理工具etcdkeeper

---

一、etcd 安装

1、下载安装包

从https://github.com/etcd-io/etcd/releases选择自己需要的版本，我用的是3.3.18这个版本 ，可以用wget命令下载

wget https://github.com/etcd-io/etcd/releases/download/v3.3.18/etcd-v3.3.18-linux-amd64.tar.gz

2、解压、重命名

tar -zxvf etcd-v3.3.18-linux-amd64.tar.gz /usr/local/etcd
cd /usr/local/etcd
mv etcd-v3.3.18-linux-amd64 etcd-v3.3.18

3、进入主目录，查看文件

cd etcd-v3.3.18
ls

主要有两个文件etcd和etcdctl,etcd用于启动服务，etcdctl属于客户端命令行工具

4、查看etcd版本

./etcdctl --version

可以看到api默认版本是V2，如果要切换到V3版本需要修改环境变量，将ETCDCTL_API设为3，

vim /etc/profile

使配置文件生效

source /etc/profile

再次查看版本，可以看到已经切换到V3了，注意：V2和V3的命令有所不同，查看版本不能再用--version

./etcdctl version

5、将etcd和etcdctl复制到/usr/local/bin中，方便在任何目录下直接用调用

cp etcd etcdctl /usr/local/bin/

二、单节点etcd

1、单节点启动etcd

etcd 

默认用2379端口接受客户端请求，数据存储路默认为主目录下的default.etcd，当然我们可以自定义端口和路径，可以直接在命令中指定，也可以定义在配置文件中，启动命令时执行配置文件即可

a、指定参数启动

etcd --listen-client-urls  "http://0.0.0.0:2381" --advertise-client-urls "http://0.0.0.0:2381" --data-dir "/var/lib/etcd/data"

b、指定配置文件启动

etcd --config-file=/etc/etcd/etcd.conf

查看成员列表，注意：如果客户端请求端口设置在非2379上，需要指定endpoints参数，因为默认请求下查看的是2379端口下成员状态

etcdctl --endpoints=http://127.0.0.1:2381 member list --write-out=table

可以看到服务已经正常开启

注意：如果指定了listen-client-urls，则必须同时指定advertise-client-urls，否则会报错

三、部署etcd群集

群集由三台云ecs组成，分别为：

ecs1:49.111.111.111(公),172.17.0.15(私)

ecs2:47.111.11.111(公),72.16.178.96(私)

ecs3:101.111.111.111(公),192.168.1.14(私)

考虑到安全，以上公网ip在真实ip的基础上对后三个ip段做了更改

1、三台机器配置

第一台机器ecs1

a、/etc目录下新建etcd目录，再新建etcd.conf文件

vim /etc/etcd/etcd.conf

ETCD_NAME="etcd-1"
ETCD_DATA_DIR="/var/lib/etcd/data"
ETCD_LISTEN_CLIENT_URLS="http://0.0.0.0:2379"
ETCD_LISTEN_PEER_URLS="http://0.0.0.0:2380"
ETCD_INITIAL_ADVERTISE_PEER_URLS="http://49.111.111.111:2380"
ETCD_ADVERTISE_CLIENT_URLS="http://172.17.0.15:2379,http://localhost:2379"
ETCD_INITIAL_CLUSTER="etcd-1=http://49.111.111.111:2380,etcd-2=http://47.111.111.111:2380,etcd-3=http://101.111.111.111:2380"
ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster-token"
ETCD_INITIAL_CLUSTER_STATE="new"

b、etcd配置为后台服务配置文件：在/etc/systemd/system目录下新建etcd.service文件

vim /etc/systemd/system/etcd.service

[Unit]
Description=Etcd Server
After=network.target
After=network-online.target
Wants=network-online.target

[Service]
Type=notify
WorkingDirectory=/var/lib/etcd/
EnvironmentFile=-/etc/etcd/etcd.conf
User=root
# set GOMAXPROCS to number of processors
ExecStart=/usr/bin/etcd  \
    --name=${ETCD_NAME} \
    --data-dir=${ETCD_DATA_DIR} \
    --listen-client-urls=${ETCD_LISTEN_CLIENT_URLS} \
    --listen-peer-urls=${ETCD_LISTEN_PEER_URLS} \
    --advertise-client-urls=${ETCD_ADVERTISE_CLIENT_URLS} \
    --initial-cluster-token=${ETCD_INITIAL_CLUSTER_TOKEN} \
    --initial-advertise-peer-urls=${ETCD_INITIAL_ADVERTISE_PEER_URLS} \
    --initial-cluster-state=${ETCD_INITIAL_CLUSTER_STATE} \
    --initial-cluster=${ETCD_INITIAL_CLUSTER}


Restart=on-failure
LimitNOFILE=65536

[Install]
WantedBy=multi-user.target

这种方式是在ExecStart命令中指定etcd参数，参数值是变量，来源于上面EnvironmentFile指定的/etc/etcd/etcd.conf文件，也可以指定配置文件ExecStart=/usr/bin/etcd --config-file=/etc/etcd/etcd.conf，不过此时的配置内容格式必须是yaml或json格式,跟上面单机运行etcd时格式一样，如下：

name: "etcd-1"
data-dir: "/var/lib/etcd/data"
listen-client-urls: "http://0.0.0.0:2379"
listen-peer-urls: "http://0.0.0.0:2380"
initial-advertise-peer-urls: "http://49.234.197.50:2380"
advertise-client-urls: "http://172.17.0.15:2379,http://localhost:2379"
initial-cluster: "etcd-1=http://49.234.197.50:2380,etcd-2=http://47.96.100.241:2380,etcd-3=http://101.91.206.223:2380"
initial-cluster-token: "etcd-cluster-token"
initial-cluster-state: "new"

否则会报配置文件格式不正确的错。个人推荐使用指定配置文件的方式，方便配置集中管理，且减少了ExecStart命令的代码行数，简单明了

c、创建systemd的工作目录WorkingDirectory "/var/lib/etcd/" 和etcd的数据存储目录data-dir "/var/lib/etcd/data",记得赋予目录操作权限

mkdir -m 777 /var/lib/etcd
mkdir -m 777 /var/lib/etcd/data

 

第二台机器ecs2

a、etcd配置文件：/etc目录下新建etcd目录，再新建etcd.conf文件

vim /etc/etcd/etcd.conf

ETCD_NAME="etcd-2"
ETCD_DATA_DIR="/var/lib/etcd/data"
ETCD_LISTEN_CLIENT_URLS="http://0.0.0.0:2379"
ETCD_LISTEN_PEER_URLS="http://0.0.0.0:2380"
ETCD_INITIAL_ADVERTISE_PEER_URLS="http://47.111.111.111:2380"
ETCD_ADVERTISE_CLIENT_URLS="http://172.16.178.96:2379,http://localhost:2379"
ETCD_INITIAL_CLUSTER="etcd-1=http://49.111.111.111:2380,etcd-2=http://47.111.111.111:2380,etcd-3=http://101.111.111.111:2380"
ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster-token"
ETCD_INITIAL_CLUSTER_STATE="new"

 b、etcd设置为后台服务配置文件：同ecs1 

 c、同ecs1

 

第三台机器ecs3

etcd配置文件：/etc目录下新建etcd目录，再新建etcd.conf文件

vim /etc/etcd/etcd.conf

ETCD_NAME="etcd-3"
ETCD_DATA_DIR="/var/lib/etcd/data"
ETCD_LISTEN_CLIENT_URLS="http://0.0.0.0:2379"
ETCD_LISTEN_PEER_URLS="http://0.0.0.0:2380"
ETCD_INITIAL_ADVERTISE_PEER_URLS="http://101.111.111.111:2380"
ETCD_ADVERTISE_CLIENT_URLS="http://192.168.1.14:2379,http://localhost:2379"
ETCD_INITIAL_CLUSTER="etcd-1=http://49.111.111.111:2380,etcd-2=http://47.111.111.111:2380,etcd-3=http://101.111.111.111:2380"
ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster-token"
ETCD_INITIAL_CLUSTER_STATE="new"

 b、etcd配置为后台服务配置文件：同ecs1

 c、同ecs1

 

2、逐个在三台机器上执行如下命令，启动etcd服务

systemctl daemon-reload --使etcd.service文件修改生效
systemctl enable etcd
systemctl start etcd --启动etcd服务

3、查看服务状态

systemctl status etcd

可以看到etcd服务处于active状态，启动成功

我们还可以用journalctl -xe查看etcd运行日志，有问题时通过日志查找问题

journalctl -xe

4、查看成员信息

 etcdctl member list --write-out=table

5、查看群集状态

 etcdctl --endpoints=http://127.0.0.1:2379,http://47.111.1111.111:2379,http://101.111.111.111:2379 endpoint status --write-out=table

可以看到ecs1机器是leader,其他两台为follower,群集成功运行

另外执行etcdctl命令如果加上--write-out=table表示以表格的形式输出结果，有title，方便看数据。

 

四、群集搭建需注意的几点

1、--listen-client-urls用于监听客户端消息,必须设置为真实ip地址，如果机器为云主机，可以设置为云主机的私有ip地址或0.0.0.0(代表监听所有地址),不能设置为公网ip地址，因为云主机的公网ip是虚拟的，如果设置为公网ip会报“bind: cannot assign requested address”的错

2、--listen-peer-urls用于监听其他member发送过来的消息，跟listen-client-urls一样，必须设置为真实ip地址,如果机器为云主机,不能设置为公网ip

3、--initial-advertise-peer-urls用于监听其他member同步信号，该地址其他member必须能直接访问，所以如果是云主机该地址必须设置为云主机的公网ip地址

4、--initial-cluster群集列表，该列表中的值必须跟各个member的initial-advertise-peer-urls值一样

 

五、etcd web管理工具etcdkeeper

1、下载

wget  https://github.com/evildecay/etcdkeeper/releases/download/v0.7.5/etcdkeeper-v0.7.5-linux_x86_64.zip -P /usr/local/etcd/

2、解压

cd /usr/local/etcd
unzip etcdkeeper-v0.7.5-linux_x86_64.zip

3、给etcdkeeper文件赋予可执行权限,否则执行etcdkeeper文件时会报“Permission denied”的错

cd etcdkeeper
chmod 777 etcdkeeper

4、终端启动

-h:网站部署ip

-p:网站部署端口

-auth:是否开启授权认证 如果etcd开启了授权认证，则必须添加-auth=true参数,网页打开时会提示你输入etcd设置的root账号和密码

注意：此处的ip和端口不是etcd的ip和端口，而是挂载etcdkeeper网站的ip和端口，etcdkeeper默认会监听部署在localhost上的etcd的2379端口数据

./etcdkeeper -h=172.17.0.15 -p=8080

5、以服务形式部署

vim /etc/systemd/system/etcdkeeper.service

[Unit]
Description=EtcdKeeper Server
After=network.target
After=network-online.target
Wants=network-online.target

[Service]
Type=notify
WorkingDirectory=/var/lib/etcd/etcdkeeper
User=root
# set GOMAXPROCS to number of processors
ExecStart=/usr/local/etcd/etcdkeeper/etcdkeeper  \
    -h=172.17.0.15\
    -p=8080\

Restart=on-failure
LimitNOFILE=65536

[Install]
WantedBy=multi-user.target

新建目录

mkdir -m 777 /var/lib/etcd/etcdkeeper

启动

systemctl daemon-reload
systemctl enable etcdkeeper
systemctl start etcdkeeper

浏览器中浏览