kubeadm搭建单master多node的k8s集群--小白文，图文教程
参考文献
K8S基础知识与集群搭建
kubeadm搭建单master多node的k8s集群—主要参考这个博客，但是有坑，故贴出我自己的过程，坑会少很多
注意：
- 集群配置是：一台master：zabbixagent-k8smaster，两台node：k8snode1和k8snode2
- 当没有明说master机器做什么或者node机器做什么时，所有操作步骤默认是三台机器都要进行配置
- 操作系统：centos 7，且master的cpu要配置2核及以上，否则跑不动k8s！！！
1.环境准备
a.修改机器的ip地址并设置为静态ip
- vim /etc/sysconfig/network-scripts/ifcfg-ens33
TYPE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=static
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=ens33
UUID=b841150d-bab6-4e52-802d-83c990f6b00f
DEVICE=ens33
ONBOOT=yes
IPADDR=192.168.0.50
NETMASK=255.255.255.0
GATEWAY=192.168.0.2
DNS1=192.168.0.2
上述代码中主要设置：
BOOTPROTO=static
IPADDR=your ip
NETMASK=your netmask
GATEWAY=your gateway
DNS1=your dns
- 修改后重启生效：systemctl restart network
b.修改主机名
- 修改主机名：hostnamectl set-hostname yournmae && bash
- master IP：192.168.0.51
- Node1 IP：192.168.0.52
- Node2 IP：192.168.0.53
c.关闭selinux和关闭防火墙
- 关闭selinux：
- sed -i ‘s/SELINUX=enforcing/SELINUX=disabled/’ /etc/selinux/config
- 重启以生效：reboot
- 使用getenforce查看selinux的状态
- 关闭防火墙
- systemctl stop firewalld && systemctl disable firewalld
d.修改hosts⽂件
- 目的：让各个节点都能够通过主机名访问到其他节点。修改每个机器的/etc/hosts⽂件
- 每台机器执行以下命令：
echo '192.168.0.51 zabbixagent-k8smaster
192.168.0.52 k8snode1
192.168.0.53 k8snode2' >> /etc/hosts
其中ip地址及对应的主机名改为你自己对应的。
- 查看修改后的hosts文件
e.机器上配置 yum 源
- 删除原有的yum源：rm -rf /etc/yum.repos.d/*.repo
- 下载centos7的reposity（因为我的操作系统是centos）：wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo （如果没有wget，去 http://mirrors.aliyun.com/repo/ 下载CentOS-Base.repo，再上传CentOS-Base.repo文件到/etc/yum.repos.d/目录下）
- 清楚缓存：yum clean all && yum makecache
- 安装lrzsz、scp、vim、wget、net-tools：yum install -y lrzsz scp vim wget net-tools yum-utils
f.配置国内 docker 的 repo、epel 源
- 下载repo：yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
- 下载epel源：wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo
- 查看文件：ls /etc/yum.repos.d/
g.配置主机间免密登录-命令按先后步骤执行（注意看本节每个字）
- 目的：每台机器设置免密登录，因为k8s集群中的各个节点之间需要通过 ssh 进行通信
- 生成密钥：ssh-keygen（一路回车）–注意：下方图片横线处，如果没有生成这个或者接下来的步骤执行不成功，再次执行“ssh-keygen”命令
- 将本地生成的密钥文件和私钥文件拷贝到zabbixagent-k8smaster节点（此处是你自己的节点名字）：ssh-copy-id zabbixagent-k8smaster --注意：下方图片横线处，需要输入zabbixagent-k8smaster的密码。
- 将本地生成的密钥文件和私钥文件拷贝到k8snode1节点（此处是你自己的的节点）：ssh-copy-id k8snode1 --注意：下方图片横线处，需要输入k8snode1的密码。
- 将本地生成的密钥文件和私钥文件拷贝到k8snode2节点（此处是你自己的节点）：ssh-copy-id k8snode2 --注意：下方图片横线处，需要输入k8snode2的密码。
- 上面是在zabbixagent-k8smaster执行了“ssh-keygen、ssh-copy-id zabbixagent-k8smaster、ssh-copy-id k8snode1、ssh-copy-id k8snode2”，，这些命令还需要在k8snode1和k8snode2执行一遍
h.关闭 swap 分区
- 目的：swap交换分区，在机器内存不够时会使用，但是swap分区的性能较低，k8s设计时为了提升性能，默认不允许使用交换分区。kubeadm初始化的时候会检查是否开启了swap分区，如果开启了，会报错，所以需要关闭swap分区。如果不想关闭交换分区，可以使用–ignore-preflight-errors=Swap参数忽略检查。
- 在master节点上：vim /etc/fstab，然后注释掉/dev/mapper…
- 在两个节点是上：vim /etc/fstab，需要注释掉/dev/…和uuid
i.修改机器内核参数
- 目的：k8s需要修改机器内核参数，使其支持路由转发和桥接，否则会报错
- 三台机器分别执⾏修改内核参数
- vim /etc/sysctl.d/k8s.conf
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
net.ipv4.ip_forward = 1
- modprobe br_netfilter
- sysctl -p /etc/sysctl.d/k8s.conf
j.配置安装k8s组件的yum源
- vim /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/
enabled=1
k.配置时间同步
- 目的：使ntpdate同步时间
- 安装ntpdate：yum install -y ntpdate
- 与ntp服务器同步时间：ntpdate cn.pool.ntp.org
- 将时间同步命令写⼊：crontab -e
0 2 * * * /usr/sbin/ntpdate cn.pool.ntp.org
- 重启crontab服务：systemctl restart crond
m.开启 ipvs
- ipvs(IP Vertual Server)：实现了传输层的负载均衡，是一种高性能、可扩展的负载均衡方案。
- Linux内核的一部分，承担着负载均衡的功能。
- 通过ipvsadm工具来配置ipvs。
- ipvs可基于TCP和UDP的服务请求转发到真实服务器上
- ipvs和iptables的区别：
- ipvs是在传输层工作，iptables是在网络层工作。
- ipvs是基于内容的负载均衡，iptables是基于地址的负载均衡。
- ipvs为大型集群提供了高性能的负载均衡，iptables为小型集群提供了负载均衡。
- ipvs支持更多的负载均衡算法，iptables只支持轮询算法。
- ipvs支持服务器健康检查、连接重试等功能，iptables不支持。
- 准备ipvs.modules⽂件：vim /etc/sysconfig/modules/ipvs.modules
#!/bin/bash
ipvs_modules="ip_vs ip_vs_lc ip_vs_wlc ip_vs_rr ip_vs_wrr ip_vs_lblc ip_vs_lblcr ip_vs_dh ip_vs_sh ip_vs_nq ip_vs_sed ip_vs_ftp nf_conntrack"
for kernel_module in ${ipvs_modules}; do
/sbin/modinfo -F filename ${kernel_module} > /dev/null 2>&1
if [ 0 -eq 0 ]; then
/sbin/modprobe ${kernel_module}
fi
done
- 修改ipvs.modules文件权限并执行
chmod 755 /etc/sysconfig/modules/ipvs.modules && bash /etc/sysconfig/modules/ipvs.modules && lsmod | grep ip_vs
n.安装基础软件包
yum install -y device-mapper-persistent-data lvm2 net-tools conntrack-tools wget nfs-utils telnet gcc gcc-c++ make cmake libxml2-devel openssl-devel curl-devel unzip sudo ntp libaio-devel ncurses-devel autoconf automake zlib-devel python-devel epel-release openssh-server socat ipvsadm conntrack ntpdate telnet
o.安装 iptables
- iptables是Linux系统上常用的防火墙软件，用于设置、审计和检查IPv4和IPv6数据包过滤规则以及NAT表的工具。
- 安装iptables：yum install -y iptables-services
- 禁⽤iptables：systemctl stop iptables && systemctl disable iptables
- 清空防⽕墙规则：iptables -F
p.安装docker
- 安装docker-ce和containerd：yum install -y docker-ce-20.10.6 docker-ce-cli-20.10.6 containerd.io
- 启动docker：systemctl enable docker && systemctl start docker
q.配置docker镜像加速器
- 创建配置⽂件：mkdir -p /etc/docker
- 创建daemon.json⽂件：vim /etc/docker/daemon.json
{
"registry-mirrors": ["https://rsbud4vc.mirror.aliyuncs.com", "https://docker.mirrors.ustc.edu.cn", "https://registry.docker-cn.com", "http://hub-mirror.c.163.com"],
"exec-opts": ["native.cgroupdriver=systemd"]
}
- 加载配置、重启docker：systemctl daemon-reload && systemctl restart docker
2.kubernetes集群部署
a.安装初始化Kubernetes需要软件包
- kubeadm: 用于初始化集群的指令；kubelet: 运行在集群所有节点上，负责启动 Pod 和容器等；kubectl: 用于与集群通信的命令行工具
- 安装kubeadm、kubelet、kubectl
yum install -y kubelet-1.20.6 kubeadm-1.20.6 kubectl-1.20.6 --nogpgcheck
- 开机启动kubelet：systemctl enable kubelet
- 下载k8s所需要的镜像，并load到docker
- k8simage-1-20-6.tar.gz下载链接：https://pan.baidu.com/s/1K4n61u8yM3sUciiQoKlMPg 提取码：wjq9
- docker load -i k8simage-1-20-6.tar.gz
b.使⽤kubeadm初始化k8s集群
- 只在主节点（master）上执行此命。 注意：apiserver-advertise-address=your master IP
kubeadm init --kubernetes-version=v1.20.6 \
--apiserver-advertise-address=192.168.0.51 \
--image-repository registry.aliyuncs.com/google_containers \
--pod-network-cidr=10.244.0.0/16 \
--service-cidr=10.96.0.0/16 \
--ignore-preflight-errors=SystemVerification
上面命令行的含义：
--kubernetes-version 指定k8s版本
--apiserver-advertise-address 指定apiserver的地址
--image-repository 指定镜像仓库地址
--pod-network-cidr 指定pod网络地址
--ignore-preflight-errors 忽略检查
c.配置kubectl的配置文件config
- 目的：操作相当于对 kubectl 命令行工具进行初始化，使其能够与 Kubernetes 集群通信
- 只在主节点上执行下方命令
mkdir -p $HOME/.kube && sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config && sudo chown $(id -u):$(id -g) $HOME/.kube/config
- 查看集群状态：kubectl get nodes（由于还没有安装网络插件，所以下图状态是NotReady）
- 只在主节点上生成配置文件并修改：kubeadm config print init-defaults > a.yaml
- 修改a.yaml：vim a.yaml（下方代码片中name: zabbixagent-k8smaster这处需要改为自己的master的名称，然后就可以全部复制粘贴，将a.yaml替换）
apiVersion: kubeadm.k8s.io/v1beta3
bootstrapTokens:
- groups:
- system:bootstrappers:kubeadm:default-node-token
token: abcdef.0123456789abcdef
ttl: 24h0m0s
usages:
- signing
- authentication
kind: InitConfiguration
localAPIEndpoint:
advertiseAddress: 10.104.26.192
bindPort: 6443
nodeRegistration:
criSocket: /var/run/dockershim.sock
imagePullPolicy: IfNotPresent
name: zabbixagent-k8smaster
taints: null
---
apiServer:
timeoutForControlPlane: 4m0s
apiVersion: kubeadm.k8s.io/v1beta3
certificatesDir: /etc/kubernetes/pki
clusterName: kubernetes
controllerManager: {}
dns: {}
etcd:
local:
dataDir: /var/lib/etcd
imageRepository: registry.aliyuncs.com/google_containers
kind: ClusterConfiguration
kubernetesVersion: 1.20.6
networking:
dnsDomain: cluster.local
podSubnet: 10.244.0.0/16
serviceSubnet: 10.96.0.0/12
scheduler: {}
- 在三台机器上都执行，修改containerd配置⽂件：
- containerd config default > /etc/containerd/config.toml
- vi /etc/containerd/config.toml
# 添加下⾯内容
SystemdCgroup = true
sandbox_image = "registry.aliyuncs.com/google_containers/pause:3.7"
- 三台机器重启运行时：systemctl restart containerd
- 在主节点上，重新初始化主节点：kubeadm init --config a.yaml（如果此步骤报错，可能的情况之一是：a.yaml中两个apiVersion:应该改为kubeadm.k8s.io/v1beta2）
- mkdir -p $HOME/.kube && sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config && sudo chown ( i d − u ) : (id -u): (id−u):(id -g) $HOME/.kube/config
d.扩容k8s集群-添加node节点
- 目的：将另外两台节点加入到集群中
- 两台node机器分别执行：
- systemctl restart containerd
- 然后在主节点执行：kubeadm token create --print-join-command（这一步是获取node节点加入master所需的token等信息。）
- 主节点打印出来的东西，复制到两个node上执行，看下面这张图
- 在master上查看集群信息：kubectl get nodes
解释：
1.ROLES为，说明这个节点时工作节点
2. STATUS为NotReady，说明这个节点还没有安装网络插件
- 主节点上执行。将两个节点的roles设置为workers：
- kubectl label node k8snode1 node-role.kubernetes.io/worker=worker
- kubectl label node k8snode2 node-role.kubernetes.io/worker=worker
3.布置⽹络插件
a.安装⽹络插件
- 去https://github.com/hqs2212586/docker-study/blob/main/calico.yaml下载calico.yaml，然后上传到master节点
- master上执行，使用yaml文件安装calico.yaml：kubectl apply -f calico.yaml
- master执行，查看节点状态：kubectl get nodes
b.测试在k8s创建pod是否可以正常访问网络
- 在两台node节点拉取busybox:1.28镜像：docker pull busybox:1.28
![[image-20231211185738265.png]] - 在主节点创建 pod：kubectl run busybox --image=busybox:1.28 --restart=Never --rm -it busybox – sh（当出现/ #时ping一个网址，能ping通说明网络是通的）
c.测试k8s集群部署tomcat服务
- 在两个node节点 pull tomcat：docker pull tomcat:8.5-jre8-alpine
- 在 master节点创建tomcat.yaml：vim tomcat.yml
apiVersion: v1 #pod属于k8s核心组v1
kind: Pod #创建的是一个Pod资源
metadata: #元数据
name: demo-pod #pod名字
namespace: default #pod所属的名称空间
labels:
app: myapp #pod具有的标签
env: dev #pod具有的标签
spec:
containers: #定义一个容器，容器是对象列表，下面可以有多个name
- name: tomcat-pod-java #容器的名字
ports:
- containerPort: 8080
image: tomcat:8.5-jre8-alpine #容器使用的镜像
imagePullPolicy: IfNotPresent
- 在 master节点创建pod：kubectl apply -f tomcat.yaml
- 在 master节点创建tomcat-service.yml：vim tomcat-service.yaml
apiVersion: v1
kind: Service
metadata:
name: tomcat
spec:
type: NodePort
ports:
- port: 8080
nodePort: 30080
selector:
app: myapp
env: dev
- 在 master节点创建pod：kubectl apply -f tomcat-service.yaml
- 查看服务状态：kubectl get svc
- 访问三台机器ip加30080，看到Tomcat初始界面
