Kubernetes v1.24.2高可用部署
sskubeasz
1、Kubeasy简介
kubeasz 致力于提供快速部署高可用k8s集群的工具, 同时也努力成为k8s实践、使用的参考书；基于二进制方式部署和利用ansible-playbook实现自动化；既提供一键安装脚本, 也可以根据安装指南分步执行安装各个组件。
kubeasz 从每一个单独部件组装到完整的集群，提供最灵活的配置能力，几乎可以设置任何组件的任何参数；同时又为集群创建预置一套运行良好的默认配置，甚至自动化创建适合大规模集群的BGP Route Reflector网络模式。
- 集群特性 Master高可用、离线安装、多架构支持(amd64/arm64)
- 集群版本 kubernetes v1.22, v1.23, v1.24, v1.25, v1.26
- 操作系统 CentOS/RedHat 7/8, Debian 9/10, Ubuntu 16.04/18.04/20.04/22.04
- 运行时 containerd v1.6.8, docker 20.10.x (k8s < 1.24)
- 网络 calico, cilium, flannel, kube-ovn, kube-router
高可用方案
2、安装1.24版本的K8s集群
2.1、高可用集群所需节点配置如下
| 角色 |
数量 |
描述 |
| 部署节点 |
1 |
运行ansible/ezctl命令，一般复用第一个master节点 |
| etcd节点 |
3 |
注意etcd集群需要1,3,5,...奇数个节点，一般复用master节点 |
| master节点 |
2 |
高可用集群至少2个master节点 |
| node节点 |
n |
运行应用负载的节点，可根据需要提升机器配置/增加节点数 |
2.2、IP规划
机器资源有限，混着使用
| 逻辑角色 |
IP |
| Kube-Master |
192.168.101.100 |
| Kube-Master |
192.168.101.101 |
| Kube-Node |
192.168.101.102 |
| Kube-Node |
192.168.101.103 |
| Kube-Node |
192.168.101.104 |
笔记本电脑出现故障，使用个人腾讯云账创建机器操作。配置不高，没几毛钱。
2.2、注意事项
- 注意1：确保各节点时区设置一致、时间同步。 如果你的环境没有提供NTP 时间同步，推荐集成安装chrony
- 注意2：确保在干净的系统上开始安装，不要使用曾经装过kubeadm或其他k8s发行版的环境
- 注意3：建议操作系统升级到新的稳定内核，请结合阅读内核升级文档
- 注意4：在公有云上创建多主集群，请结合阅读在公有云上部署 kubeasz
2.3、部署
机器配置：
- master节点：4c/8g内存/50g硬盘
- worker节点：建议8c/32g内存/200g硬盘以上
注意：默认配置下容器运行时和kubelet会占用/var的磁盘空间，如果磁盘分区特殊，可以设置config.yml中的容器运行时和kubelet数据目录：CONTAINERD_STORAGE_DIR DOCKER_STORAGE_DIR KUBELET_ROOT_DIR
在 kubeasz 2x 版本，多节点高可用集群安装可以使用2种方式
- 1.按照本文步骤先规划准备，预先配置节点信息后，直接安装多节点高可用集群
- 2.先部署单节点集群 AllinOne部署，然后通过 节点添加 扩容成高可用集群
2.4、准备部署过程
离线安装包已经准备好，下载使用。步骤可以跳过2.4.1-2.5.1
链接：https://pan.baidu.com/s/13PDMjJuZ8cDJ6P2jWeODxA?pwd=ki9l
提取码：ki9l
按照文档全部离线下载预计10-15分钟时间算长。
2.4.1、下载kubeasz代码、二进制、默认容器镜像
export release=3.3.1
wget https://github.com/easzlab/kubeasz/releases/download/${release}/ezdown
chmod +x ./ezdown
./ezdown -D
2.4.2、下载额外容器镜像
（cilium,flannel,prometheus等）
./ezdown -X
2.4.3、下载离线系统包
(适用于无法使用yum/apt仓库情形)
./ezdown -P
2.4.4、安装包位置解释
上述脚本运行成功后，所有文件（kubeasz代码、二进制、离线镜像）均已整理好放入目录/etc/kubeasz
- /etc/kubeasz 包含 kubeasz 版本为 ${release} 的发布代码
- /etc/kubeasz/bin 包含 k8s/etcd/docker/cni 等二进制文件
- /etc/kubeasz/down 包含集群安装时需要的离线容器镜像
- /etc/kubeasz/down/packages 包含集群安装时需要的系统基础软件
2.5、离线安装
2.5.1、检查安装包
./ezdown -D ./ezdown -X
- 离线安装 docker，检查本地文件，正常会提示所有文件已经下载完成，并上传到本地私有镜像仓库
2.5.2、修改部署信息
启动 kubeasz 容器
sed -i 's/^INSTALL_SOURCE.*$/INSTALL_SOURCE: "offline"/g' /etc/kubeasz/example/config.yml
./ezdown -S
设置参数允许离线安装
如果没有安装ansible可以进入容器内操作
docker exec -it kubeasz bash
创建部署集群信息
cd /etc/kubeasz/
./ezctl new fanht-ops-k8s
调整hosts集群部署信息
cd clusters/fanht-ops-k8s/
2.5.3、开始部署K8s集群
1、指定集群名字安装
./ezctl setup fanht-ops-k8s all
等5分钟左右，内部网络和机器性能决定部署速度。
2.4、验证完成部署
安装完成
kubectl get nodes
exit;
source .bash_profile #不加载profile重新打开窗口也可以
2.5、检查服务
2.51、检查pod
kubectl get pods -A
3、访问dashboard
3.1、查看Nodeport 端口
kubectl get svc -nkube-system
3.2、获取token
以后分享配置用户名和密码登录认证方式
kubectl describe -n kube-system secrets admin-user
3.3、访问前端
node port 端口32748
https://192.168.101.100:32748/
4、总结
1、K8s集群部署已经完成
2、访问地址解释
家里电脑可以访问到腾讯云内网IP因为提前配置过open，麻雀虽小五脏俱全。
服务器有公网IP一定要做好安全组限制。
后面会继续输出更多K8s生产最佳实践和配套服务使用