Kubeadm安装单master多node节点K8S集群

记录在刚搭建的3个虚拟机里成功安装K8S1.25版本集群的步骤

由于是成功创建后才记录的博客，只记录了操作步骤，过程中执行命令后的截图会有部分缺失，或者换成了文字。

环境说明

实验环境规划

操作系统：centos7.9
每个服务器配置： 4Gib内存/4vCPU/80G硬盘
网络：NAT模式

集群搭建规划

K8S集群角色	IP	主机名	安装的组件
控制节点	192.168.40.182	k8s-master1	apiserver、controller-manager、schedule、kubelet、etcd、kube-proxy、containerd、calico
工作节点	192.168.40.183	k8s-node1	Kube-proxy、calico、coredns、containerd、kubelet
工作节点	92.168.40.184	k8s-node2	Kube-proxy、calico、coredns、containerd、kubelet

初始化安装k8s集群的实验环境

安装虚拟机

安装虚拟机步骤见：
链接: Windows安装配置VMware
主要是：
1、修改机器IP，变成静态IP
2、关闭selinux
3、建议：自用的话，3个服务器root的登录密码设置一致，方面后面的操作

更新yum源和操作系统

ps. 3个服务器里都执行

yum update -y

查看操作系统

cat /etc/redhat-release

执行结果显示：CentOS Linux release 7.9.2009 (Core)

配置机器主机名

在192.168.40.182上执行

hostnamectl set-hostname k8s-master1 && bash

在192.168.40.183上执行

hostnamectl set-hostname k8s-node1 && bash

在192.168.40.184上执行

hostnamectl set-hostname k8s-node2 && bash

配置主机hosts文件，相互之间通过主机名互相访问

修改每台服务器的/etc/hosts文件，文件最后增加如下内容：
ps. 文件里原有的配置不要动

192.168.40.182   k8s-master1  
192.168.40.183   k8s-node1  
192.168.40.184   k8s-node2

配置主机之间无密码登录

ps. 以下命令3个服务器里都执行

1、配置到其他机器免密登录

ssh-keygen

ps. 以上命令执行后，一路回车，不输入密码

2、把本地生成的密钥文件和私钥文件拷贝到远程主机

ssh-copy-id k8s-master1

以上命令执行后，输入“yes”，然后按提示输入k8s-master1服务器的登录密码

ssh-copy-id k8s-node1

以上命令执行后，输入“yes”，然后按提示输入k8s-node1服务器的登录密码

ssh-copy-id k8s-node2

以上命令执行后，输入“yes”，然后按提示输入k8s-node2服务器的登录密码

关闭交换分区swap，提升性能

ps. 以下命令3个服务器里都执行

swapoff -a

永久关闭：注释swap挂载，给swap这行开头加一下注释

vi /etc/fstab

为什么要关闭swap交换分区？
Swap是交换分区，如果机器内存不够，会使用swap分区，但是swap分区的性能较低，k8s设计的时候为了能提升性能，默认是不允许使用交换分区的。Kubeadm初始化的时候会检测swap是否关闭，如果没关闭，那就初始化失败。如果不想要关闭交换分区，安装k8s的时候可以指定–ignore-preflight-errors=Swap来解决。

修改机器内核参数

ps. 以下命令3个服务器里都执行

modprobe br_netfilter

cat > /etc/sysctl.d/k8s.conf <<EOF
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
net.ipv4.ip_forward = 1
EOF

sysctl -p /etc/sysctl.d/k8s.conf

关闭firewalld防火墙

ps. 3个服务器里都执行

systemctl stop firewalld && systemctl disable firewalld

配置阿里云的repo源

ps. 以下命令3个服务器里都执行

yum install yum-utils -y

配置国内安装docker和containerd的阿里云的repo源

yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

配置安装k8s组件需要的阿里云的repo源

ps.以下命令 3个服务器里都执行

cat >  /etc/yum.repos.d/kubernetes.repo <<EOF
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/
enabled=1
gpgcheck=0
EOF

配置时间同步

ps. 以下命令3个服务器里都执行

安装ntpdate命令

yum install ntpdate -y

跟网络时间做同步

ntpdate cn.pool.ntp.org

把时间同步做成计划任务

crontab -e

写入：

* */1 * * * /usr/sbin/ntpdate   cn.pool.ntp.org

重启crond服务

service crond restart

安装基础软件包

ps. 3个服务器里都执行

yum install -y device-mapper-persistent-data lvm2 wget net-tools nfs-utils lrzsz gcc gcc-c++ make cmake libxml2-devel openssl-devel curl curl-devel unzip sudo ntp libaio-devel wget vim ncurses-devel autoconf automake zlib-devel  python-devel epel-release openssh-server socat  ipvsadm conntrack telnet ipvsadm

安装containerd服务

ps. 以下命令3个服务器里都执行

yum install -y containerd.io-1.6.6

接下来生成 containerd 的配置文件

mkdir -p /etc/containerd

containerd config default > /etc/containerd/config.toml

修改配置文件

vim /etc/containerd/config.toml

config.toml文件里的修改点：
1、把SystemdCgroup = false 修改成 = true
2、把sandbox_image = “k8s.gcr.io/pause:3.6” 修改成=“registry.aliyuncs.com/google_containers/pause:3.7”
改后如图（相关文件的片段，非整个文件的内容）：


配置 containerd 开机启动，并启动 containerd

systemctl enable containerd  --now

修改/etc/crictl.yaml文件

cat > /etc/crictl.yaml <<EOF
runtime-endpoint: unix:///run/containerd/containerd.sock
image-endpoint: unix:///run/containerd/containerd.sock
timeout: 10
debug: false
EOF

systemctl restart  containerd

安装docker服务

docker跟containerd不冲突，安装docker是为了能基于dockerfile构建镜像
ps. 以下命令3个服务器里都执行

yum install docker-ce -y

systemctl enable docker --now

配置containerd、docker镜像加速器

ps. 以下命令3个服务器里都执行

vim /etc/containerd/config.toml

config.toml文件里的修改点：找到config_path = “”，修改成
config_path = “/etc/containerd/certs.d”

mkdir /etc/containerd/certs.d/docker.io/ -p

vim /etc/containerd/certs.d/docker.io/hosts.toml

写入如下内容

[host."https://vh3bm52y.mirror.aliyuncs.com",host."https://registry.docker-cn.com"]
  capabilities = ["pull"]

重启containerd

systemctl restart containerd

配置docker镜像加速器

vim /etc/docker/daemon.json

写入如下内容

{
 "registry-mirrors":["https://vh3bm52y.mirror.aliyuncs.com","https://registry.docker-cn.com","https://docker.mirrors.ustc.edu.cn","https://dockerhub.azk8s.cn","http://hub-mirror.c.163.com"]
} 

ps. 也可以在服务器节点上配置好，再远程拷贝到其他服务节点上，如下在k8s-master节点上执行：

scp daemon.json k8s-node1:/etc/docker/
scp daemon.json k8s-node2:/etc/docker/

重启docker

systemctl restart docker

安装初始化k8s需要的软件包

ps. 以下命令3个服务器里都执行

yum install -y kubelet-1.25.0 kubeadm-1.25.0 kubectl-1.25.0

systemctl enable kubelet

注：每个软件包的作用

• Kubeadm: kubeadm是一个工具，用来初始化k8s集群的
• kubelet: 安装在集群所有节点上，用于启动Pod，kubeadm安装k8s，控制节点和工作节点的组件
• kubectl: 通过kubectl可以部署和管理应用，查看各种资源，创建、删除和更新各种组件

kubeadm初始化k8s集群

ps. 仅在master节点的服务器上执行

kubeadm config print init-defaults > kubeadm.yaml

通过kubeadm config print init-defaults命令生成kubeadm.yaml文件，根据自己的需求修改配置，比如修改 imageRepository的值，kube-proxy 的模式为ipvs，需要注意的是由于本次使用的containerd作为运行时，所以在初始化节点的时候需要指定cgroupDriver为systemd

vim kubeadm.yaml

修改配置文件，修改地方用#标注了。仅改动标注部分，其他保持生成后的不变

apiVersion: kubeadm.k8s.io/v1beta3
bootstrapTokens:
- groups:
  - system:bootstrappers:kubeadm:default-node-token
  token: abcdef.0123456789abcdef
  ttl: 24h0m0s
  usages:
  - signing
  - authentication
kind: InitConfiguration
localAPIEndpoint:
  advertiseAddress: 192.168.40.182 #控制节点（master节点）的ip
  bindPort: 6443
nodeRegistration:
  criSocket: unix:///run/containerd/containerd.sock  #指定containerd容器运行时，/etc/crictl.yaml里的runtime-endpoint
  imagePullPolicy: IfNotPresent
  name:  k8s-master1 #控制节点主机名
  taints: null
---
apiVersion: kubeadm.k8s.io/v1beta3
certificatesDir: /etc/kubernetes/pki
clusterName: kubernetes
controllerManager: {}
dns: {}
etcd:
  local:
    dataDir: /var/lib/etcd
imageRepository: registry.cn-hangzhou.aliyuncs.com/google_containers # 指定阿里云镜像仓库地址
kind: ClusterConfiguration
kubernetesVersion: 1.25.0 #k8s版本
networking:
  dnsDomain: cluster.local
  podSubnet: 10.244.0.0/16    # 新增加的配置，指定pod网段
  serviceSubnet: 10.96.0.0/12 # 指定Service网段
scheduler: {}
#在文件最后，插入以下内容，（复制时，要带着---）
---
apiVersion: kubeproxy.config.k8s.io/v1alpha1
kind: KubeProxyConfiguration
mode: ipvs
---
apiVersion: kubelet.config.k8s.io/v1beta1
kind: KubeletConfiguration
cgroupDriver: systemd

基于kubeadm.yaml初始化k8s集群

k8s镜像下载很慢有时候会失败，提供了镜像的压缩文件，可以通过导入获取镜像。
文件放在了网盘里可自取：

链接: https://pan.baidu.com/s/1uDSPp1AkcvVxBzL57dWeBQ
提取码: ixhg

以下命令3个服务器里都执行

ctr -n=k8s.io images import k8s_1.25.0.tar.gz

k8s_1.25.0.tar.gz这个文件如何来的？
这个文件把安装k8s需要的镜像都集成好了，通过ctr images export 这个命令把镜像输出到k8s_1.25.0.tar.gz文件。
如: ctr -n=k8s.io images export k8s_1.25.tar.gz docker.io/calico/node:v3.18.0 registry.cn-hangzhou.aliyuncs.com/google_containers/coredns:v1.9.3
以上多个镜像用 空格 隔开

如果需安装其他版本，那就不需要实现解压镜像，可以从网络拉取镜像即可

ctr是containerd自带的工具，有命名空间的概念，若是k8s相关的镜像，都默认在k8s.io这个命名空间，所以导入镜像时需要指定命令空间为k8s.io

查看镜像

ctr -n=k8s.io images ls

ps. 仅在master节点的服务器上执行

kubeadm init --config=kubeadm.yaml --ignore-preflight-errors=SystemVerification

看到类似返回表示执行成功

配置kubectl的配置文件config，相当于对kubectl进行授权，这样kubectl命令可以使用这个证书对k8s集群进行管理

mkdir -p $HOME/.kube

sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config

sudo chown $(id -u):$(id -g) $HOME/.kube/config

扩容k8s集群-添加第一个工作节点

在k8s-master1上查看加入节点的命令

kubeadm token create --print-join-command

获取到返回的命令，我当时的是：

kubeadm join 192.168.40.182:6443 --token pmm98c.whu5zvft6y1g1e2c --discovery-token-ca-cert-hash sha256:ff5a016ba790353d8d9cf2c46c3d6cbaeeba81c12503fb514f9a7f8ff17667c2

将返回的命令后面加上“–ignore-preflight-errors=SystemVerification” ，分别在node1和node2中执行

我当时执行的是：
[root@k8s-node1~]# kubeadm join 192.168.40.180:6443 --token vulvta.9ns7da3saibv4pg1 --discovery-token-ca-cert-hash sha256:72a0896e27521244850b8f1c3b600087292c2d10f2565adb56381f1f4ba7057a --ignore-preflight-errors=SystemVerification

看到下面图片响应的，说明k8s-node1节点已经加入到集群了,充当工作节点了

在k8s-master1上执行下面命令，查看集群节点状况

kubectl get nodes

当时返回的如图：

对k8s-node1打个标签，显示work

kubectl label nodes k8s-node1 node-role.kubernetes.io/work=work

kubectl label nodes k8s-node2 node-role.kubernetes.io/work=work

kubectl get nodes

为什么在工作节点运行kubectl报错？
[root@k8s-node1 ~]# kubectl get nodes
The connection to the server localhost:8080 was refused - did you specify the right host or port?
因为在工作节点上没有$HOME/.kube/config文件。

在工作节点上执行kubectl的步骤如下：
分别在node1和node2中执行

mkdir $HOME/.kube/

在master节点中执行

scp /root/.kube/config k8s-node1:/root/.kube/

分别在node1和node2中执行

kubectl get nodes

安装kubernetes网络组件-Calico

把安装calico需要的镜像calico.tar.gz（在上面提供的网盘里）传到3个服务器上，上传后执行
ps. 以下命令3个服务器里都执行

ctr -n=k8s.io images import calico.tar.gz

上传calico.yaml（在上面提供的网盘里）到master节点上，使用yaml文件安装calico 网络插件

kubectl apply -f  calico.yaml

注：在线下载配置文件地址是： https://docs.projectcalico.org/manifests/calico.yaml

以上安装结束，最后的截图如下：

kubectl get nodes