第5讲-搭建kubernetes集群
一、minikube
minikube 是一个工具， 能让你在本地运行 Kubernetes。 minikube 在你的个人计算机（包括 Windows、macOS 和 Linux PC）上运行一个一体化（all-in-one）或多节点的本地 Kubernetes 集群，以便你来尝试 Kubernetes 或者开展每天的开发工作。
二、二进制安装
利用 k8s 官方 github 仓库下载二进制包安装，安装过程较复杂，但相对较为稳定，推荐生产环境使用。
以下是使用二进制方式部署Kubernetes集群的步骤：
-
确认环境
在开始安装之前，请确保您的服务器符合以下要求：
- 操作系统为Linux或macOS。
- 所有节点之间的时间同步。
- 所有节点具有静态IP地址。
- 所有节点之间可以相互通信。
- 所有节点上的防火墙已正确配置。
-
下载二进制文件
从Kubernetes官方网站中下载预编译的二进制文件：https://github.com/kubernetes/kubernetes/releases
选择适合您操作系统的版本并下载所有二进制文件。
-
安装Docker
使用以下命令在所有节点上安装Docker：
sudo apt-get update sudo apt-get install docker.io确认Docker是否安装成功：
docker -v -
配置Master节点
在Master节点上，需要安装 kube-apiserver，kube-controller-manager，kube-scheduler 和 kube-proxy。
将所有下载的二进制文件复制到 /usr/local/bin 目录下：
sudo cp kubectl kubelet kube-proxy kube-scheduler kube-controller-manager kube-apiserver /usr/local/bin/配置 kubernetes 配置文件和 kubelet 配置文件，使用以下命令：
sudo mkdir -p /etc/kubernetes/config sudo cp kube-apiserver.yaml kube-controller-manager.yaml kube-scheduler.yaml /etc/kubernetes/config/ sudo cp kubelet.service /etc/systemd/system/修改 kube-apiserver 配置文件，确保以下内容：
--etcd-servers=http://127.0.0.1:2379 //etcd安装的地址 --service-cluster-ip-range=10.10.0.0/16 //服务网段 --insecure-bind-address=0.0.0.0 //ip地址修改 kubelet 配置文件，确保以下内容：
Kubernete 集群 IP地址（ master IP）和 DNS 名称（如果没有自己到 /etc/hosts 中补充就可以了） Kubeconfig 的路径，这个路径指向了 kubelet 将会使用的 Kubernetes 的 API 服务器地址。如果 kubelet 的 API 服务器与 kube-apiserver 在同一台机器上，则无需在该文件中包含 API 服务器地址。启动 kubelet 服务：
systemctl daemon-reload systemctl enable kubelet systemctl start kubelet -
配置Worker节点
在Worker节点上，需要安装 kubelet，kube-proxy 和 Docker。
将所有下载的二进制文件复制到 /usr/local/bin 目录下：
sudo cp kubectl kubelet kube-proxy /usr/local/bin/配置 kubelet 配置文件，使用以下命令：
sudo cp ./kubelet.service /etc/systemd/system/修改 kubelet 配置文件，确保以下内容：
Kubernete 集群 IP地址（ master IP）和 DNS 名称（如果没有自己到 /etc/hosts 中补充就可以了） Kubeconfig 的路径，这个路径指向了 kubelet 将会使用的 Kubernetes 的 API 服务器地址。如果 kubelet 的 API 服务器与 kube-apiserver 在同一台机器上，则无需在该文件中包含 API 服务器地址。 启用 TLS 并设置 kubelet 的证书和私钥的路径。启动 kubelet 和 kube-proxy 服务：
systemctl daemon-reload systemctl enable kubelet systemctl start kubelet systemctl enable kube-proxy systemctl start kube-proxy -
验证集群
使用以下命令验证集群：
kubectl get nodes如果返回节点列表，则说明 Kubernetes 集群已成功安装并运行。
至此，您已成功部署了使用二进制方式的 Kubernetes 集群。
三、命令行工具
四、kubeadm
你可以使用 kubeadm 工具来创建和管理 Kubernetes 集群。 该工具能够执行必要的动作并用一种用户友好的方式启动一个可用的、安全的集群。
安装 kubeadm 展示了如何安装 kubeadm 的过程。一旦安装了 kubeadm， 你就可以使用它来创建一个集群。
4.1服务器要求
3台服务器（虚拟机），最低配置：2核、2G内存、20G硬盘，需联网
4.2软件环境
操作系统：centos 7，docker：20+，k8s：1.23.6
4.3安装步骤
4.3.1初始操作
# 关闭防火墙
systemctl stop firewalld
systemctl disable firewalld
# 关闭selinux
sed -i ‘s/enforcing/disabled/’ /etc/selinux/config # 永久
setenforce 0 # 临时
# 关闭swap
swapoff -a # 临时
sed -ri ‘s/.swap./#&/’ /etc/fstab # 永久
# 关闭完swap后，一定要重启一下虚拟机！！！
# 根据规划设置主机名
hostnamectl set-hostname
# 在master添加hosts
cat >> /etc/hosts << EOF
192.168.113.120 k8s-master
192.168.113.121 k8s-node1
192.168.113.122 k8s-node2
EOF
# 将桥接的IPv4流量传递到iptables的链
cat > /etc/sysctl.d/k8s.conf << EOF
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
EOF
sysctl --system # 生效
# 时间同步
yum install ntpdate -y
ntpdate time.windows.com
4.3.2安装基础软件（所有节点）
4.3.2.1 安装docker
详见docker安装文档
4.3.2.2添加阿里云的源
cat > /etc/yum.repos.d/kubernetes.repo << EOF
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF
4.3.2.3安装kuberadm、kubelet、kubectl
yum install -y kubelet-1.23.6 kubeadm-1.23.6 kubectl-1.23.6
systemctl enable kubelet
# 配置关闭 Docker 的 cgroups，修改 /etc/docker/daemon.json，加入以下内容
{
"registry-mirrors": ["镜像加速的URL地址"],
"exec-opts":["native.cgroupdriver=systemd"],
"log-driver":"json-file",
"log-opts":{
"max-size": "100m"
}
}
# 重启 docker
systemctl daemon-reload
systemctl restart docker
4.3.3部署kubernetes master
# 在 Master 节点下执行
kubeadm init
–apiserver-advertise-address=主机ip
–image-repository registry.aliyuncs.com/google_containers
–kubernetes-version v1.23.6
–service-cidr=10.96.0.0/12
–pod-network-cidr=10.244.0.0/16
# 安装成功后，复制如下配置并执行
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config
kubectl get nodes
4.3.4加入kubernetes node
分别在 k8s-node1 和 k8s-node2 执行
# 下方命令可以在 k8s master 控制台初始化成功后复制 join 命令
kubeadm join 192.168.113.120:6443 --token w34ha2.66if2c8nwmeat9o7 --discovery-token-ca-cert-hash sha256:20e2227554f8883811c01edd850f0cf2f396589d32b57b9984de3353a7389477
# 如果初始化的 token 不小心清空了，可以通过如下命令获取或者重新申请
# 如果 token 已经过期，就重新申请
kubeadm token create
# token 没有过期可以通过如下命令获取
kubeadm token list
# 获取 --discovery-token-ca-cert-hash 值，得到值后需要在前面拼接上 sha256:
openssl x509 -pubkey -in /etc/kubernetes/pki/ca.crt | openssl rsa -pubin -outform der 2>/dev/null |
openssl dgst -sha256 -hex | sed ‘s/^.* //’
4.3.5部署CNI插件
# 在 master 节点上执行
# 下载 calico 配置文件，可能会网络超时，可能会被墙，修改/etc/hosts文件 增加节点 199.232.68.133 raw.githubusercontent.com
显示下载地址的，可以下载下来看curl https://docs.projectcalico.org/manifests/calico.yaml -O
curl https://raw.githubusercontent.com/projectcalico/calico/v3.26.1/manifests/calico.yaml -O
# 修改 calico.yaml 文件中的 CALICO_IPV4POOL_CIDR 配置，修改为与初始化的 cidr 相同（不改也行）
# 修改 IP_AUTODETECTION_METHOD 下的网卡名称（不改也行）
# 删除镜像 docker.io/ 前缀，避免下载过慢导致失败
sed -i ‘s#docker.io/##g’ calico.yaml
下载后执行，执行时间可能需要几分钟，需要等待status都变成running为止
kubectl apply -f calico.yaml
[root@k8smaster1 ~]# kubectl get po -n kube-system
NAME READY STATUS RESTARTS AGE
calico-kube-controllers-74dbdc644f-tt8z6 1/1 Running 0 12m
calico-node-7f9mz 1/1 Running 0 12m
calico-node-srtnd 1/1 Running 0 12m
calico-node-vjgc7 1/1 Running 0 12m
coredns-6d8c4cb4d-8xmlf 1/1 Running 0 41m
coredns-6d8c4cb4d-rkd64 1/1 Running 0 41m
etcd-k8smaster1 1/1 Running 0 41m
kube-apiserver-k8smaster1 1/1 Running 0 41m
kube-controller-manager-k8smaster1 1/1 Running 0 41m
kube-proxy-h6src 1/1 Running 0 41m
kube-proxy-jbt89 1/1 Running 0 37m
kube-proxy-xhgxd 1/1 Running 0 37m
kube-scheduler-k8smaster1 1/1 Running 0 41m
如果一直未running，可以使用下面的命令进行查看具体的pod的信息
kubectl describe po calico-node-7f9mz -n kube-system
实在实在不行的话！最后解决方案，先将caliyo里面的镜像查找出来，然后使用docker pull 全都拉下来：
[root@k8smaster1 ~]# grep image calico.yaml
image: calico/cni:v3.26.1
imagePullPolicy: IfNotPresent
image: calico/cni:v3.26.1
imagePullPolicy: IfNotPresent
image: calico/node:v3.26.1
imagePullPolicy: IfNotPresent
image: calico/node:v3.26.1
imagePullPolicy: IfNotPresent
image: calico/kube-controllers:v3.26.1
imagePullPolicy: IfNotPresent
[root@k8smaster1 ~]# docker pull calico/cni:v3.26.1
显示效果如图 ：
[root@k8smaster1 ~]# kubectl get nodes
NAME STATUS ROLES AGE VERSION
k8smaster1 Ready control-plane,master 37m v1.23.6
k8snode1 Ready 32m v1.23.6
k8snode2 Ready 32m v1.23.6
[root@k8smaster1 ~]# kubectl get nodes -o wide
NAME STATUS ROLES AGE VERSION INTERNAL-IP EXTERNAL-IP OS-IMAGE KERNEL-VERSION CONTAINER-RUNTIME
k8smaster1 Ready control-plane,master 37m v1.23.6 192.168.57.190 CentOS Linux 7 (Core) 3.10.0-1160.el7.x86_64 docker://23.0.6
k8snode1 Ready 32m v1.23.6 192.168.57.191 CentOS Linux 7 (Core) 3.10.0-1160.92.1.el7.x86_64 docker://23.0.6
k8snode2 Ready 32m v1.23.6 192.168.57.192 CentOS Linux 7 (Core) 3.10.0-1160.92.1.el7.x86_64 docker://23.0.6
4.3.6测试kubernetes集群
# 创建部署
kubectl create deployment nginx --image=nginx
# 暴露端口
kubectl expose deployment nginx --port=80 --type=NodePort
# 查看 pod 以及服务信息
kubectl get pod,svc
附：任意节点使用kubectl
# 1. 将 master 节点中 /etc/kubernetes/admin.conf 拷贝到需要运行的服务器的 /etc/kubernetes 目录中
scp /etc/kubernetes/admin.conf root@k8snode1:/etc/kubernetes
# 2. 在对应的服务器上配置环境变量
echo "export KUBECONFIG=/etc/kubernetes/admin.conf" >> ~/.bash_profile
source ~/.bash_profile