k8s- 集群搭建(kubeadm 方式)

1、前置知识点

目前生产部署 Kubernetes 集群主要有两种方式：
（1）kubeadm
Kubeadm 是一个 K8s 部署工具，提供 kubeadm init 和 kubeadm join，用于快速部
署 Kubernetes 集群。
官方地址：https://kubernetes.io/docs/reference/setup-tools/kubeadm/kubeadm/
（2）二进制包
从 github 下载发行版的二进制包，手动部署每个组件，组成 Kubernetes 集群。
Kubeadm 降低部署门槛，但屏蔽了很多细节，遇到问题很难排查。如果想更容易可 控，推荐使用二进制包部署 Kubernetes 集群，虽然手动部署麻烦点，期间可以学习很 多工作原理，也利于后期维护。

2、kubeadm 部署方式介绍

kubeadm 是官方社区推出的一个用于快速部署 kubernetes 集群的工具，这个工具能通
过两条指令完成一个 kubernetes 集群的部署：
第一、创建一个 Master 节点
kubeadm init
第二， 将 Node 节点加入到当前集群中 $ kubeadm join

3、安装要求

在开始之前，部署 Kubernetes 集群机器需要满足以下几个条件：

• 一台或多台机器，操作系统 CentOS7.x-86_x64
• 硬件配置：2GB 或更多 RAM，2 个 CPU 或更多 CPU，硬盘 30GB 或更多
• 集群中所有机器之间网络互通
• 可以访问外网，需要拉取镜像
• 禁止 swap 分区

4、最终目标

（1） 在所有节点上安装 Docker 和 kubeadm
（2）部署 Kubernetes Master
（3）部署容器网络插件
（4）部署 Kubernetes Node，将节点加入 Kubernetes 集群中
（5）部署 Dashboard Web 页面，可视化查看 Kubernetes 资源

5、准备环境

角色	IP
k8s-master	192.168.1.201
k8s-node1	192.168.1.202
k8s-node2	192.168.1.203

安装
yum install -y conntrack ntpdate ntp ipvsadm ipset jq iptables curl sysstat libseccomp wget vim net-tools git

6、系统初始化

6.1 设置防火墙为 Iptables 并设置空规则

$ systemctl stop firewalld 
$ systemctl disable firewalld 
yum -y install iptables-services  &&  systemctl  start iptables  &&  systemctl  enable iptables&&  iptables -F  &&  service iptables save

6.2 关闭 selinux：

$ sed -i 's/enforcing/disabled/' /etc/selinux/config # 永久 
$ setenforce 0 # 临时 

6.3 关闭 swap：

$ swapoff -a # 临时 
$ vim /etc/fstab # 永久 

6.4 主机名：

#主机名不能带“_”
$ hostnamectl set-hostname  

6.5 在 master 添加 hosts：

$ cat >> /etc/hosts << EOF 
192.168.1.201 k8s-master 
192.168.1.202 k8s-node1 
192.168.1.203 k8s-node2 
EOF 

6.6 将桥接的 IPv4 流量传递到 iptables 的链：

$ cat > /etc/sysctl.d/k8s.conf << EOF 
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1 
net.ipv4.ip_forward=1
net.ipv4.tcp_tw_recycle=0
vm.swappiness=0 # 禁止使用 swap 空间，只有当系统 OOM 时才允许使用它
vm.overcommit_memory=1 # 不检查物理内存是否够用
vm.panic_on_oom=0 # 开启 
OOMfs.inotify.max_user_instances=8192
fs.inotify.max_user_watches=1048576
fs.file-max=52706963
fs.nr_open=52706963
net.ipv6.conf.all.disable_ipv6=1
net.netfilter.nf_conntrack_max=2310720
EOF 
$ sysctl --system # 生效 

6.7 时间同步：

$ yum install ntpdate -y 
$ ntpdate time.windows.com 

6.8关闭系统不需要服务

systemctl stop postfix && systemctl disable postfix

6.9设置日志 rsyslogd 和 systemd journald

mkdir /var/log/journal 
# 持久化保存日志的目录
mkdir /etc/systemd/journald.conf.d
cat > /etc/systemd/journald.conf.d/99-prophet.conf <

6.10升级系统内核为 4.44

CentOS 7.x 系统自带的 3.10.x 内核存在一些 Bugs，导致运行的 Docker、Kubernetes 不稳定，例如： rpm -Uvh
http://www.elrepo.org/elrepo-release-7.0-3.el7.elrepo.noarch.rpm

rpm -Uvh http://www.elrepo.org/elrepo-release-7.0-3.el7.elrepo.noarch.rpm
# 安装完成后检查 /boot/grub2/grub.cfg 中对应内核 menuentry 中是否包含 initrd16 配置，如果没有，再安装一次！
yum --enablerepo=elrepo-kernel install -y kernel-lt
# 设置开机从新内核启动
grub2-set-default 'CentOS Linux (4.4.189-1.el7.elrepo.x86_64) 7 (Core)'
# 重启系统
reboot
# 查看系统内核版本
uname -r

6.11kube-proxy开启ipvs的前置条件

什么是ipvs模式
linux 内核4.19后nf_conntrack_ipv4改成成nf_conntrack

modprobe br_netfilter
cat > /etc/sysconfig/modules/ipvs.modules <

7、所有节点安装 Docker/kubeadm/kubelet

Kubernetes 默认 CRI（容器运行时）为 Docker，因此先安装 Docker。

7.1安装 Docker

yum install -y yum-utils device-mapper-persistent-data lvm2
yum-config-manager --add-repo   http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
yum update -y && yum install -y docker-ce

# 重启系统
reboot
# 查看系统内核版本
uname -r
# 如果是3.10版本，设置开机从新内核启动5.4.99-1.el7.elrepo.x86_64
grub2-set-default 'CentOS Linux (5.4.99-1.el7.elrepo.x86_64) 7 (Core)' && reboot

## 创建 /etc/docker 目录
mkdir /etc/docker

# 配置 daemon.
cat > /etc/docker/daemon.json <

7.2添加 yum 源

$ cat > /etc/yum.repos.d/kubernetes.repo << EOF 
[kubernetes] 
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64 
enabled=1 
gpgcheck=0 
repo_gpgcheck=0 
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg 
EOF 

7.3安装 kubeadm，kubelet 和 kubectl

$ yum install -y kubelet-1.18.0 kubeadm-1.18.0 kubectl-1.18.0
$ systemctl enable kubelet 

8、部署 Kubernetes Master

8.1在 192.168.1.201（Master）执行

$ kubeadm init \ 
--apiserver-advertise-address=192.168.1.201 \ 
--image-repository registry.aliyuncs.com/google_containers \ 
--kubernetes-version v1.18.0 \ 
--service-cidr=10.96.0.0/12 \ 
--pod-network-cidr=10.244.0.0/16 

由于默认拉取镜像地址 k8s.gcr.io 国内无法访问，这里指定阿里云镜像仓库地址。

初始化成功

image.png

image.png

8.2使用 kubectl 工具：

在master node上执行在 kubeadm init 输出的命令：
mkdir -p $HOME/.kube 
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config 
sudo chown $(id -u):$(id -g) $HOME/.kube/config 
$ kubectl get nodes 

9、加入 Kubernetes Node

9.1在 192.168.1.202/203（Node）执行

(1)向集群添加新节点，执行在 kubeadm init 输出的 kubeadm join 命令：

$ kubeadm join 192.168.1.201:6443 --token bwcqq3.bj7fcyzdhrh83xhp --discovery-token-ca-cert-hash sha256:45f6d7ddd2ceec8748676c2f74f7658afae72bc353c4563e98cd4c0e69edcb8d 

(2)默认token有效期为24小时，当过期之后，该token就不可用了。这时就需要重新创建token,操作如下：

kubeadm token create --print-join-command

(3)查看发现集群节点已经成功创建，但是还不能运行，需要安装网络插件

image.png

10、安装 Pod 网络插件（CNI）,肯爹的地方！

10.1安装flannel

（1）可以先下载，再安装

wget https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml 
kubectl apply -f  kube-flannel.yml 
#默认镜像地址无法访问，可以用set命令修改
sed  -i  's/quay.azk8s.cn/quay-mirror.qiniu.com/g'   kube-flannel.yml

（2）直接安装，失败了，多执行几次

kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml 

（3）安装成功

低版本：

podsecuritypolicy.policy/psp.flannel.unprivileged configured
clusterrole.rbac.authorization.k8s.io/flannel configured
clusterrolebinding.rbac.authorization.k8s.io/flannel configured
serviceaccount/flannel unchanged
configmap/kube-flannel-cfg unchanged
daemonset.apps/kube-flannel-ds-amd64 created
daemonset.apps/kube-flannel-ds-arm64 created
daemonset.apps/kube-flannel-ds-arm created
daemonset.apps/kube-flannel-ds-ppc64le created
daemonset.apps/kube-flannel-ds-s390x created

0.13.1版本:

podsecuritypolicy.policy/psp.flannel.unprivileged created
clusterrole.rbac.authorization.k8s.io/flannel created
clusterrolebinding.rbac.authorization.k8s.io/flannel created
serviceaccount/flannel created
configmap/kube-flannel-cfg created
daemonset.apps/kube-flannel-ds created

（4）kubectl get pod -n kube-system查看组件全部正常运行

image.png

（5）kubectl get nodes 查看节点正常运行

image.png

10.2 kubernetes集群卸载flannel网络

（1）找到最初安装flannel时的yaml文件：

kubectl delete -f kube-flannel.yml

（2）在所有master、worker节点上执行：

ip link delete cni0
ip link delete flannel.1
rm -rf /var/lib/cni/
rm -f /etc/cni/net.d/*

（3）重启kubelet

systemctl restart kubelet

11、测试 kubernetes 集群

在 Kubernetes 集群中创建一个 pod，验证是否正常运行：

$ kubectl create deployment nginx --image=nginx 
$ kubectl expose deployment nginx --port=80 --type=NodePort 
$ kubectl get pod,svc 

访问地址：http://NodeIP:Port