二、使用Kubeadm搭建kubernetes集群环境

目前，生产环境部署k8s集群主要有两种方式：

• kubeadm
  Kubeadm 是一个K8s 部署工具，提供kubeadm init 和kubeadm join，用于快速部署Kubernetes 集群。Kubeadm 降低部署门槛，但屏蔽了部署细节。
• 二进制包
  从github 下载发行版的二进制包，手动部署每个组件，组成Kubernetes 集群。手动部署起来比较麻烦。但是可以根据自己的需求自定义环境。

1、环境准备

节点	IP地址
master	192.168.1.51
node1	192.168.1.52
node2	192.168.1.53

2、基础配置（所有节点需要配置）

2.1配置hosts文件

[root@master ~]# vi /etc/hosts
192.168.1.51 master
192.168.1.52 node1
192.168.1.53 node2

2.2关闭防火墙和Selinux

[root@master ~]# systemctl stop firewalld && systemctl disable firewalld 
[root@master ~]# setenforce 0
[root@master ~]# vim /etc/sysconfig/selinux
SELINUX=disabled

2.3清空iptables规则

[root@master ~]# iptables -F

2.4调整系统内核参数

[root@master ~]# modprobe br_netfilter
[root@master ~]# vim /etc/sysctl.d/kubernetes.conf
net.bridge.bridge-nf-call-iptables=1  #意味着二层的网桥在转发包时也会被iptables的FORWARD规则所过滤
net.bridge.bridge-nf-call-ip6tables=1  #意味着ipv6二层的网桥在转发包时也会被iptables的FORWARD规则所过滤
net.ipv4.ip_forward=1  #开启IP转发功能
net.ipv4.tcp_tw_recycle=0   #开启TCP连接中TIME-WAIT sockets的快速回收
vm.swappiness=0  #禁止使用 swap 空间，只有当系统 OOM 时才允许使用它
vm.overcommit_memory=1  #不检查物理内存是否够用
vm.panic_on_oom=0  #开启 OOM
fs.inotify.max_user_instances=8192  #表示每一个user ID可创建的inotify instatnces的数量上限，默认128
fs.inotify.max_user_watches=1048576  #表示同一用户同时可以添加的watch数目（watch一般是针对目录，决定了同时同一用户可以监控的目录数量）
fs.file-max=52706963  #系统所有进程一共可以打开的文件数量fs.nr_open=52706963  #一个进程可以打开的最大文件数
net.ipv6.conf.all.disable_ipv6=1
net.netfilter.nf_conntrack_max=2310720
[root@master ~]# sysctl -p /etc/sysctl.d/kubernetes.conf

2.5设置rsyslogd和systemd journald

[root@master ~]# mkdir /var/log/journal 
[root@master ~]# mkdir /etc/systemd/journald.conf.d
[root@master ~]# vim /etc/systemd/journald.conf.d/99-prophet.conf
[Journal]
Storage=persistent  # 持久化保存到磁盘
Compress=yes  # 压缩历史日志
SyncIntervalSec=5m
RateLimitInterval=30s
RateLimitBurst=1000
SystemMaxUse=10G  # 最大占用空间 10G
SystemMaxFileSize=200M  # 单日志文件最大 200M
MaxRetentionSec=2week  # 日志保存时间 2 周
ForwardToSyslog=no  # 不将日志转发到 syslog
[root@master ~]# systemctl restart systemd-journald

2.6开启ipvs

[root@master ~]# vim /etc/sysconfig/modules/ipvs.modules 
#!/bin/bash
modprobe -- ip_vs
modprobe -- ip_vs_rr
modprobe -- ip_vs_wrr
modprobe -- ip_vs_sh
modprobe -- nf_conntrack_ipv4                                                                          
[root@master ~]# chmod 755 /etc/sysconfig/modules/ipvs.modules && bash /etc/sysconfig/modules/ipvs.modules && lsmod | grep -e ip_vs -e nf_conntrack_ipv4

2.7关闭swap分区

[root@master ~]# vim /etc/fstab 
#/dev/mapper/centos-swap swap                    swap    defaults        0 0
[root@master ~]# mount -a
[root@master ~]# swapoff  -a

2.8配置yum源

自行配置国内源，包括epel源，docker-ce源，kubernets源
我这里配置的为阿里云的源https://developer.aliyun.com/mirror/

2.9安装所需软件

[root@master ~]# yum -y install docker-ce kubeadm kubelet kubectl
Installed:
  docker-ce.x86_64 3:20.10.10-3.el7            kubeadm.x86_64 0:1.22.3-0            kubectl.x86_64 0:1.22.3-0            kubelet.x86_64 0:1.22.3-0 

yum list [包名] --showduplicates 用于查询一个软件包镜像源中所支持的版本
yum -y install --setopt=obsoletes=0 [包全名] 用于安装一个特定版本的软件包

2.10配置docker

[root@master ~]# mkdir /etc/docker
[root@master ~]# vim /etc/docker/daemon.json
{
"registry-mirrors": ["docker加速器地址"],
"exec-opts": ["native.cgroupdriver=systemd"],
"log-driver": "json-file",
"log-opts": {
"max-size": "100m"
}
}                                                                                                                                                     
"/etc/docker/daemon.json" [New] 8L, 174C written                                                                                            
[root@master ~]# systemctl daemon-reload && systemctl restart docker && systemctl enable docker

2.11设置kubelet开机自启

[root@master ~]# systemctl enable kubelet

3、部署k8s集群

3.1部署master节点（master节点操作）

[root@master ~]# kubeadm init --image-repository registry.aliyuncs.com/google_containers --service-cidr=10.96.0.0/12 --pod-network-cidr=10.244.0.0/16
Your Kubernetes control-plane has initialized successfully!

--image-repository registry.aliyuncs.com/google_containers 出于某些原因，镜像仓库配置阿里云的google_containers
--service-cidr=10.96.0.0/12 集群地址为10.96.0.0/12
--pod-network-cidr=10.244.0.0/16 pod地址为10.244.0.0/16

3.2配置master

[root@master ~]#   mkdir -p $HOME/.kube
[root@master ~]#   sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
[root@master ~]#   sudo chown $(id -u):$(id -g) $HOME/.kube/config

按照master节点集群初始化成功的输出，配置认证信息，具有操作k8s集群的权限。如果是管理员，可以不用执行更改权限的命令

3.3将node加入集群（node节点操作）

[root@node1 ~]# kubeadm join 192.168.1.51:6443 --token ej6ikm.24zso8lequk2x73s \
> --discovery-token-ca-cert-hash sha256:1f9d1aa1ac2e9bc2eb6cf7a6c3cb8511233a9bb8b0a25d11ba47f9d158f5390c
[root@node2 ~]# kubeadm join 192.168.1.51:6443 --token ej6ikm.24zso8lequk2x73s \
> --discovery-token-ca-cert-hash sha256:1f9d1aa1ac2e9bc2eb6cf7a6c3cb8511233a9bb8b0a25d11ba47f9d158f5390c

按照master节点集群初始化成功的输出，将加入集群的命令复制在node节点上执行

3.4安装附件flannel（master节点操作）

[root@master ~]# kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml

k8s集群自身不提供网络，网络需要通过附件的形式进行提供，必须是overlay的网络，这里用的是flannel的网络

3.5验证环境

[root@master ~]# kubectl get nodes
NAME     STATUS   ROLES                  AGE     VERSION
master   Ready    control-plane,master   11m     v1.22.3
node1    Ready                     9m24s   v1.22.3
node2    Ready                     9m29s   v1.22.3