官网:https://etcd.io/
github:https://github.com/etcd-io/etcd
etcd 是一个分布式键值对存储系统,由coreos 开发,内部采用raft 协议作为一致性算法,用于可靠、快速地保存关键数据,并提供访问。通过分布式锁、leader选举和写屏障(write barriers),来实现可靠的分布式协作
任何应用(从简单的 Web 应用到 Kubernetes 等高度复杂的容器编排引擎)都可以使用标准的 HTTP/JSON 工具在 etcd 中读写数据。
官方硬件推荐:https://etcd.io/docs/v3.5/op-guide/hardware/
etcd 通常在用于开发或测试目的的资源有限的情况下运行良好;在笔记本电脑或廉价的云机器上使用 etcd 进行开发是很常见的。但是,在生产中运行 etcd 集群时,一些硬件指南对于正确管理很有用。
CPU:
很少有 etcd 部署需要大量 CPU。 典型的集群需要两到四个核心才能平稳运行。负载较重的 etcd 部署(每秒服务数千个客户端或数万个请求)往往会受到 CPU 限制,因为 etcd 可以服务于内存中的请求。如此繁重的部署通常需要八到十六个核心。
内存:
etcd 的内存占用相对较小,但其性能仍然取决于是否有足够的内存。etcd 服务器将积极缓存键值数据,并花费大部分剩余内存来跟踪观察者。通常 8GB 就足够了。对于具有数千个观察者和数百万个密钥的重型部署,请相应地分配 16GB 到 64GB 内存。
硬盘:
快速磁盘是 etcd 部署性能和稳定性的最关键因素。
缓慢的磁盘会增加 etcd 请求延迟并可能损害集群稳定性。由于 etcd 的共识协议依赖于将元数据持久存储到日志中,因此大多数 etcd 集群成员必须将每个请求写入磁盘。此外,etcd 还将增量地将其状态检查点到磁盘,以便它可以截断此日志。如果这些写入花费的时间太长,心跳可能会超时并触发选举,从而破坏集群的稳定性。一般来说,要判断磁盘对于 etcd 来说是否足够快,可以使用fio等基准测试工具。请阅读此处的示例。
购买华为云主机,本次评测系统如下:
注意:本文我们采用2C4G环境测试,非2C2G~
创建新的安全组,开发所有端口方便测试
更改安全组,如下,选择我们的开发所有端口的这个安全组:
开发所有端口后,我们ssh登录上华为云主机即可~
官方安装文档:https://etcd.io/docs/v3.5/install/
官方快速开始文档:
https://etcd.io/docs/v3.5/quickstart/
etcd在生产环境中一般推荐集群方式部署,三节点集群可以实现高可用,单节点存在宕机风险。本文定位为入门,华为云云耀云服务器L实例测试验证安装,主要讲讲单节点安装和基本使用。
安装 etcd 最简单的方法是使用预构建的二进制文件:
解压缩存档文件。这会产生一个包含二进制文件的目录。
将可执行二进制文件添加到您的路径中。例如,将二进制文件重命名和/或移动到您的路径中的目录(如/usr/local/bin),或者将上一步创建的目录添加到您的路径中。
mkdir -p etcd-download
cd etcd-download
ETCD_VER=v3.5.0
# choose either URL
GOOGLE_URL=https://storage.googleapis.com/etcd
GITHUB_URL=https://github.com/etcd-io/etcd/releases/download
DOWNLOAD_URL=${GOOGLE_URL}
rm -f etcd-${ETCD_VER}-linux-amd64.tar.gz
curl -L ${DOWNLOAD_URL}/${ETCD_VER}/etcd-${ETCD_VER}-linux-amd64.tar.gz -o etcd-${ETCD_VER}-linux-amd64.tar.gz
# 改完自己的安装目录
export INSTALL_PATH="/opt/lighthouse/server/env/"
mkdir -p $INSTALL_PATH
tar xzvf etcd-${ETCD_VER}-linux-amd64.tar.gz -C $INSTALL_PATH/
mv $INSTALL_PATH/etcd-* $INSTALL_PATH/etcd
$INSTALL_PATH/etcd/etcd --version
如果您有Go 版本 1.16+,您可以按照以下步骤从源代码构建 etcd:
将 etcd 存储库下载为 zip 文件并解压缩,或使用以下命令克隆存储库。
$ git clone -b v3.5.0 https://github.com/etcd-io/etcd.git
要从 构建main@HEAD,请省略该-b v3.5.0标志。
更改目录:
$ cd etcd
运行构建脚本:
$ ./build.sh
二进制文件位于该bin目录下。
将目录的完整路径添加bin到您的路径中,例如:
$ export PATH="$PATH:`pwd`/bin"
测试etcd您的路径中的内容:
$ etcd --version
etcd 基于Go语言实现,主要用于共享配置,服务发现,集群监控,leader选举,分布式锁等场景。
etcd是一个高可用、分布式的键值存储系统,可以用来实现服务注册与发现。
本文我们重点讲解服务注册与发现~
服务注册与发现是指将服务实例注册到服务注册中心,使得其他服务能够发现并使用该服务。etcd可以作为一个服务注册中心,用来存储服务实例的地址和其他相关信息。
服务提供者在启动时,将自己的服务实例信息(例如IP地址、端口号、服务名称、健康状态等)写入到etcd中,同时指定一个TTL(Time To Live)过期时间。etcd会自动维护这些服务实例的心跳信息,如果一个服务实例的心跳超时,则etcd会将其从注册中心中删除。
服务消费者在启动时,可以通过etcd中的API查询对应服务的实例信息。消费者可以使用该信息调用服务提供者,而不需要硬编码服务地址。
在终端中输入以下命令启动etcd服务:
etcd
如果需要自定义配置,可以使用etcd命令行参数,例如:
etcd --name my-etcd --listen-client-urls http://0.0.0.0:2379 --advertise-client-urls http://0.0.0.0:2379
需要注意的是,这个只是单个etcd节点的最小配置,要构建集群还需要配置其他节点和初期集群信息。但命令包含了etcd节点的基本网络和识别配置。
当然,etcd支持使用配置文件来管理服务配置。命令行参数指定配置文件,在启动etcd时,使用–config-file参数指定配置文件:
etcd --config-file=/etc/etcd/etcd.conf.yml
这里给出单节点,配置demo:
# 节点名称
name: 'etcd-node1'
# 数据目录
data-dir: /opt/lighthouse/server/env/etcd/etcd-data
# 快照设置
snapshot-count: 10000
# 心跳间隔
heartbeat-interval: 100
# 通讯和客户端监听地址
listen-peer-urls: http://0.0.0.0:2380
listen-client-urls: http://0.0.0.0:2379
# 初始集群配置
initial-advertise-peer-urls: http://0.0.0.0:2380
initial-cluster: etcd-node1=http://0.0.0.0:2380
initial-cluster-token: etcd-cluster-1
initial-cluster-state: new
# 启用详细日志
log-level: debug
log-dir: /opt/lighthouse/server/logs/etcd
log-file: etcd.log
log-max-size: 100
log-backups: 3
log-format: text
# 压缩设置
auto-compaction-mode: periodic
auto-compaction-retention: "1"
# 安全传输
#client-transport-security:
# trusted-ca-file: /path/to/ca.crt
# cert-file: /path/to/etcd.crt
# key-file: /path/to/etcd.key
#
#peer-transport-security:
# trusted-ca-file: /path/to/ca.crt
# cert-file: /path/to/etcd.crt
# key-file: /path/to/etcd.key
[Unit]
Description=etcd key-value store
Documentation=https://etcd.io/docs/
After=network.target
[Service]
CPUAccounting=true
MemoryAccounting=true
CPUQuota=200%
MemoryLimit=2G
Type=notify
ExecStart=/opt/lighthouse/server/env/etcd/etcd --config-file=/opt/lighthouse/server/conf/etcd/etcd.conf.yml
Restart=on-failure
LimitNOFILE=65536
[Install]
WantedBy=multi-user.target
使用:–config-file= 指定启动用的配置文件即可`
配置为systemd服务:
# etcd 数据目录 $ETCD_DIR/etcd-data
sudo mkdir -p $ETCD_DIR/etcd-data
sudo rm -rf /etc/systemd/system/etcd.service
sudo cp $SERVER_CONF_PATH/etcd.service /etc/systemd/system/etcd.service
sudo systemctl daemon-reload
sudo systemctl enable etcd
sudo systemctl restart etcd
服务提供者在启动时,需要将自己的服务实例信息写入到etcd中。可以使用etcdctl命令行工具。
etcdctl put /services/my-service/1 '{"host":"192.168.0.1","port":8080}'
上述命令将一个名为my-service的服务实例注册到etcd中,其IP地址为192.168.0.1,端口号为8080。
etcd支持多种编程语言的客户端库,例如Go、Java、Python等。使用客户端库可以更加方便地进行服务注册和发现。
服务消费者在启动时,可以从etcd中查询服务实例信息。
./etcdctl get /services/my-service --prefix
上述命令将查询所有名为my-service的服务实例信息。可以通过etcdctl的–watch参数实现自动监听服务实例的变化。
etcd服务注册与发现
参考URL: https://zhuanlan.zhihu.com/p/625634172