kubeadm部署k8s集群

一 . 介绍

使用kubeadm部署k8s集群的步骤：
第一步：是在机器上部署容器运行时（docker,containerd等）；
第二步：然后部署kubeadm,kubelet,kubectl这三个服务；
第三步：使用kubeadm init 部署master节点；
第四步：使用kubeadm join 加入其他节点。

二 . 节点准备工作：

1. 安装前确认每个节点的MAC和uuid唯一，不冲突

# 查看MAC，确保每个节点的mac唯一
ifconfig -a   
# 查看product_uuid，确保每个节点的uuid唯一
cat /sys/class/dmi/id/product_uuid

2.  设置主机名

hostnamectl set-hostname master1

3. 关闭防火墙

# 关闭防火墙
systemctl stop firewalld
systemctl disable firewalld

#禁用selinux,设置SELINUX=disabled
vi /etc/selinux/config
SELINUX=disabled

4. 禁用swap分区，禁用交换区分区 注释掉swap那行。

通过free 命令查看是否有swap 那行显示为0则表示关闭成功。

Kubernetes 1.8 开始要求关闭系统的Swap，如果不关闭，默认配置下 kubelet 将无法启动。
 

vim /etc/fstab
#/dev/mapper/cl-swap     swap                    swap    defaults 

#查看swap是否关闭
free -m
             total     used     free    shared  buff/cache   available
Mem:        15884      1611      9734       242    4538       13610
Swap:           0        0        0 

5. 重启机器

6. 设置流量桥接

# 确保 br_netfilter 模块被加载
lsmod | grep br_netfilter
# 若要显式加载该模块，可执行 
sudo modprobe br_netfilter

#允许iptables检查桥接流量
cat <

三. 部署主节点

1. 安装容器运行时docker

# 1. 如果已经安装了docker,卸载旧版本
yum remove docker \
                  docker-client \
                  docker-client-latest \
                  docker-common \
                  docker-latest \
                  docker-latest-logrotate \
                  docker-logrotate \
                  docker-engine
#2. 安装docker
# 提供yum-config-manager程序，device mapper 存储驱动程序需要 device-mapper-persistent-data 和 lvm2
sudo yum install -y yum-utils  device-mapper-persistent-data lvm2
 
# 3. 设置镜像仓库
# yum-config-manager会自动生成/etc/yum.repos.d下面的yum源文件
# 使用阿里云源
 
sudo yum-config-manager --add-repo \
     https://download.docker.com/linux/centos/docker-ce.repo
 
# 4. 查看可用版本
yum list docker-ce --showduplicates | sort -r
 
# 5. 安装最新版本，或者也可以安装指定版本
yum -y install docker-ce docker-ce-cli containerd.io
yum -y install docker-ce- docker-ce-cli- containerd.io
 
# 6. 设置docker开机自启动
systemctl start docker && systemctl enable docker
 
 
# 7. 检查docker是否正常运行
docker version 
 
# 8. 配置docker，使用 systemd 来管理容器的 cgroup。
# 对于运行 Linux 内核版本 4.0 或更高版本，或使用 3.10.0-51 及更高版本的 RHEL 或 CentOS 的系统，
# overlay2是首选的存储驱动程序
# 由于 kubeadm 把 kubelet 视为一个系统服务来管理，所以对基于 kubeadm 的安装，推荐使用 systemd 驱动，不推荐 cgroupfs 驱动。
 
sudo mkdir /etc/docker
cat <

2.  安装kubeadm,kubelet,kubectl

• kubeadm：用来初始化集群的指令。
• kubelet：在集群中的每个节点上用来启动 Pod 和容器等。
• kubectl：用来与集群通信的命令行工具。

# 由于官网中的地址不可访问，所以添加阿里源
cat < /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=http://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=http://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg http://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
exclude=kube*
EOF
 
 
#安装 kubelet kubeadm kubectl 
#--disableexcludes=kubernetes  禁掉除了这个之外的别的仓库
 
yum install -y kubelet kubeadm kubectl --disableexcludes=kubernetes
systemctl enable kubelet && systemctl start kubelet

此时通过systemctl status 查看kubelet状态我failed，是正常现象。待kubeadm init完成后，生成了kubelet的配置文件后，kubelet服务即可正常运行。

3. 初始化master

可以通过配置文件的方式来初始化master，我们需要手动修改一些文件中的配置项，来使集群被初始化成我们想要的样子。

# 生成初始化文件
kubeadm config print init-defaults > kubeadm-init.yaml

 修改kubeadm-init.yaml文件

• 将advertiseAddress: 1.2.3.4修改为本机IP地址 
• 将imageRepository: k8s.gcr.io修改为imageRepository: registry.cn-hangzhou.aliyuncs.com/google_containers , 这里是修改成阿里云的仓库。
• 修改节点名称，如果不修改就是默认的’node' 
• 修改podSubnet，如果采用calico作为网络插件，需要改为192.168.0.0/16

修改后的文件如下：

apiVersion: kubeadm.k8s.io/v1beta3
bootstrapTokens:
- groups:
  - system:bootstrappers:kubeadm:default-node-token
  token: abcdef.0123456789abcdef
  ttl: 24h0m0s
  usages:
  - signing
  - authentication
kind: InitConfiguration
localAPIEndpoint:
  advertiseAddress: 10.6.178.50
  bindPort: 6443
nodeRegistration:
  criSocket: /var/run/dockershim.sock
  imagePullPolicy: IfNotPresent
  name: master01
  taints: null
---
apiServer:
  timeoutForControlPlane: 4m0s
apiVersion: kubeadm.k8s.io/v1beta3
certificatesDir: /etc/kubernetes/pki
clusterName: kubernetes
controllerManager: {}
dns: {}
etcd:
  local:
    dataDir: /var/lib/etcd
imageRepository: registry.cn-hangzhou.aliyuncs.com/google_containers
kind: ClusterConfiguration
kubernetesVersion: 1.23.0
networking:
  dnsDomain: cluster.local
  serviceSubnet: 10.96.0.0/12
  podSubnet: 192.168.0.0/16
scheduler: {}

执行init：

# 执行init
kubeadm init --config kubeadm-init.yaml
 
# 添加权限
# 如果要使用root用户执行kubectl
export KUBECONFIG=/etc/kubernetes/admin.conf
 
# 要使非 root 用户可以运行 kubectl，请运行以下命令， 它们也是 kubeadm init 输出的一部分
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config

此时查看节点的状态，为Not ready，因为还没有安装网络插件。

4. 安装网络插件：

插件可以选择calico，flannel, cni等，参考kubeadm · Kubernetes指南 

安装网络插件，安装过程中会因为网络问题出现下载镜像失败，多试几次可能就成功了，或者在下载好镜像后手动上传到节点上。

calico安装可查看官网 Quickstart for Calico on Kubernetes 

注意：需要 kubeadm init 时设置 --pod-network-cidr=192.168.0.0/16 （calico的默认配置）

calico的部署可以参考Kubernetes安装与配置、初始化k8s集群、部署MySQL和本地应用到k8s集群 | Zlg's blog

在部署过程中会用到下面的几个镜像，可以先下载下来然后上传到master节点上面去，否则需要非常长的时间才能安装成功

calico/typha                                v3.22.0   35c2fa1ee0a1   9 days ago     127MB
calico/kube-controllers                     v3.22.0   df76d42861ee   9 days ago     132MB
calico/apiserver                            v3.22.0   d0dec2d2ca4c   9 days ago     129MB
calico/cni                                  v3.22.0   f86797de8afd   9 days ago     236MB
calico/pod2daemon-flexvol                   v3.22.0   59daef946c8c   9 days ago     21.4MB
calico/node                                 v3.22.0   f109b1742d34   9 days ago     213MB

准备好镜像后，就可以直接安装calico了。

#从官网拷贝的安装命令如下
kubectl create -f https://projectcalico.docs.tigera.io/manifests/tigera-operator.yaml
 
kubectl create -f https://projectcalico.docs.tigera.io/manifests/custom-resources.yaml
 
 
#安装完成后可以查看节点的状态，发现状态正常
kubectl get pod -A
NAMESPACE          NAME                                       READY   STATUS    RESTARTS      AGE
calico-apiserver   calico-apiserver-64c4b4d48b-nqclj          1/1     Running   0             44m
calico-apiserver   calico-apiserver-64c4b4d48b-rskvm          1/1     Running   0             44m
calico-system      calico-kube-controllers-77c48f5f64-zj8sq   1/1     Running   0             3h45m
calico-system      calico-node-f2lng                          1/1     Running   0             3h45m
calico-system      calico-typha-886c95dd9-s8l74               1/1     Running   3 (59m ago)   3h45m
kube-system        coredns-65c54cc984-4fxfw                   1/1     Running   0             4h3m
kube-system        coredns-65c54cc984-74m99                   1/1     Running   0             4h3m
kube-system        etcd-master01                              1/1     Running   2 (60m ago)   4h4m
kube-system        kube-apiserver-master01                    1/1     Running   2 (59m ago)   4h4m
kube-system        kube-controller-manager-master01           1/1     Running   2 (59m ago)   4h4m
kube-system        kube-proxy-nnq9h                           1/1     Running   2 (60m ago)   4h3m
kube-system        kube-scheduler-master01                    1/1     Running   2 (59m ago)   4h4m
tigera-operator    tigera-operator-59fc55759-bm75m            1/1     Running   1 (61m ago)   3h45m
 
kubectl get node
NAME       STATUS   ROLES                  AGE    VERSION
master01   Ready    control-plane,master   4h4m   v1.23.3

四 . 加入节点

目按照第一个节点的方式准备节点并安装容器运行时和kubeadm,kubectl,kubelet。然后执行kubeadm init 添加节点。

#master节点初始化24h内可以通过下面的命令获取token
kubeadm token list
 
#获取hash值
openssl x509 -pubkey -in /etc/kubernetes/pki/ca.crt | openssl rsa -pubin -outform der 2>/dev/null | \
   openssl dgst -sha256 -hex | sed 's/^.* //'
 
# 执行节点join，其中的token为第一步中获取的token,hash为第二步获取的hash值
kubeadm join --token  : --discovery-token-ca-cert-hash sha256:
 
#示例：
kubeadm join --token abcdef.0123456789ab**** 10.6.178.**:6443 --discovery-token-ca-cert-hash sha256:cd7802bb17cac39acac1f2d7d953ad01b6c6e25078594170ff1****

附录

问题解决：

加入节点完成后，可以在master上查看节点状态。如果slave节点为Not ready，则可以查看该节点有哪些pod没有正确运行。在这里发现slave节点状态不对，是因为calico插件的镜像没有下载成功，手动执行docker load加载一下master节点导出来的镜像即可解决。

# 查看slave节点是否有异常pod

[root@master01 ~]# kubectl get pod --all-namespaces -o wide|grep slave1
calico-system      calico-node-l7xgp                          0/1     Running   0             126m   10.6.178.51      slave1                
kube-system        kube-proxy-6h9m7                           1/1     Running   0             126m   10.6.178.51      slave1                


# 查看所有节点的状态

[root@master01 ~]# kubectl get node
NAME       STATUS   ROLES                  AGE    VERSION
master01   Ready    control-plane,master   23h    v1.23.3
slave1     Ready                     126m   v1.23.3

kubeadm init的过程：

kubeadm 的init的工作过程说明：

1. 在做出变更前运行一系列的预检项来验证系统状态。一些检查项目仅仅触发警告， 其它的则会被视为错误并且退出 kubeadm，除非问题得到解决或者用户指定了 --ignore-preflight-errors=<错误列表> 参数。
2.  为 Kubernetes 项目生成对外提供服务时所需的证书文件，都放在 Master 节点的 /etc/kubernetes/pki 目录下。

   比如：用户使用 kubectl 获取容器日志等 streaming 操作时，需要通过 kube-apiserver 向 kubelet 发起请求，这个连接也必须是安全的。kubeadm 为这一步生成的是 apiserver-kubelet-client.crt 文件，对应的私钥是 apiserver-kubelet-client.key。

   完整的证书文件如下，其中以.key结尾的都是私钥文件：

   apiserver.crt
   apiserver-etcd-client.crt
   apiserver-etcd-client.key   
   apiserver.key
   apiserver-kubelet-client.crt  # kube-apiserver 向kubelet发起请求使用（比如kubectl获取容器日志等操作）
   apiserver-kubelet-client.key  # apiserver-kubelet-client.crt的私钥
   ca.crt   #最主要的证书
   ca.key   # ca.crt的私钥
   etcd     # 这是一个目录
   front-proxy-ca.crt
   front-proxy-ca.key
   front-proxy-client.crt
   front-proxy-client.key
   sa.key
   sa.pub

3. 在目录/etc/kubernetes/生成配置文件，配置文件中记录当前这个 Master 节点的服务器地址、监听端口、证书目录等信息， 以便 kubelet、kubectl和scheduler可以直接加载相应的conf文件使用里面的信息，来与 API 服务器建立安全的连接。
4. 同时生成一个名为 admin.conf 的独立的 kubeconfig 文件，用于管理操作。剩下的过程请参考官方文档。

# 完整的配置文件列表
[root@master01 kubernetes]# ll /etc/kubernetes/|grep conf|awk '{print $NF}'
admin.conf
controller-manager.conf
kubelet.conf
scheduler.conf