K8S 集群搭建

一、基础环境搭建

1、前置要求

一台或多台机器，操作系统 CentOS7.x-86_x64
硬件配置：2GB或更多RAM，2个CPU或更多CPU，硬盘 30GB或更多
集群中所有机器之间网络互通
可以访问外网，需要拉取镜像
禁止swap分区

2、部署步骤

1、在所有的节点上安装Docker和kubeadm
2、部署Kubernetes Master
3、部署容器网络插件
4、部署Kubernetes Node，将节点加入Kubernetes集群中
5、部署DashBoard web页面，可视化查看Kubernetes资源

3.配置linux环境

# su root # 切换到root用户先

# 关闭防火墙
$ systemctl stop firewalld
$ systemctl disable firewalld

# 关闭 selinux
$ sed -i 's/enforcing/disabled/' /etc/selinux/config
$ setenforce 0

# 关闭内存交换
$ swapoff -a  # 临时,只关当前会话的
$ sed -ri 's/.*swap.*/#&/' /etc/fstab # 永久
$ free -g # 验证 swap 必须为 0

开启IP转发功能
echo "1" > /proc/sys/net/ipv4/ip_forward

4.添加主机名与IP映射

先设置主机名

hostnamectl set-hostname k8s-node1 

默认的主机名与IP关系：

[vagrant@k8s-node1 ~]$ cat /etc/hosts
127.0.0.1       k8s-node1       k8s-node1
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6

修改：

# 前边为网卡地址 后边为集群结点名
# 就如同Windows里边的host文件一样

$ vi /etc/hosts
# ip addr 命令查看 eth0网卡inet
192.168.183.129  k8s-node1  
192.168.183.130  k8s-node2
192.168.183.131  k8s-node3  

# 修改网络配置成静态ip,然后
service network restart


一个小建议
这里建议如果做高可用的话，要打开IP_VS模块
因为：pod的负载均衡是用kube-proxy来实现的，实现方式有两种，一种是默认的iptables，一种是ipvs，ipvs比iptable的性能更好而已。
后面master的高可用和集群服务的负载均衡要用到ipvs，所以加载内核的以下模块
需要开启的模块是
ip_vs
ip_vs_rr
ip_vs_wrr
ip_vs_sh
nf_conntrack_ipv4

检查有没有开启
cut -f1 -d " "  /proc/modules | grep -e ip_vs -e nf_conntrack_ipv4

没有的话，使用以下命令加载
[root@k8s-node1 ~]# modprobe -- ip_vs
[root@k8s-node1 ~]# modprobe -- ip_vs_rr
[root@k8s-node1 ~]# modprobe -- ip_vs_wrr
[root@k8s-node1 ~]# modprobe -- ip_vs_sh
[root@k8s-node1 ~]# modprobe -- nf_conntrack_ipv4

对三台虚拟机批量修改，改了之后三台虚拟机可以互相知道机器地址.

5、将桥接的IPv4流量传递到iptables链（三台批量修改）

cat > /etc/sysctl.d/k8s.conf << EOF
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
EOF

# 重新加载
sysctl --system

这样可以精确的统计每台虚拟机的流量访问，为后边负载均衡做准备。

6.k8s相关软件安装

Kubernetes 默认 CRI（容器运行时）为Docker，因此先安装Docker。

1、安装docker

教程
docker

2、安装kubeadm、kubelet和kubectl

2.1 添加阿里云kubernetes yum源
阿里云官方镜像

CentOS / RHEL / Fedora

cat < /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF

查看版本

yum list kubeadm --showduplicates | sort -r  

2.2 安装指定版本

# yum list|grep kube # 检查yum源是否有kube相关的源
yum  -y  install kubelet-1.19.3 kubeadm-1.19.3 kubectl-1.19.3 

卸载命令

yum -y remove kubelet

说明：

• kubeadm —— 启动 k8s 集群的命令工具
• kubelet —— 集群容器内的命令工具
• kubectl —— 操作集群的命令工具
  2.3 设置开机自启动

kubeadm reset 重启
# 开机自启，kubelet是做代理的，把节点注册到集群中的，要跟集群通信，所以，开机必须自启动
systemctl enable kubelet 
systemctl start kubelet # 启动

三、部署k8s-master

们使用 k8s-node1 作为主机，以后管理我们所有的节点集群，为了方便管理和识别给 k8s-node1 改名为 k8s-node1(master)。

1、master节点初始化

初始化(这个命令暂不执行，请继续往下看)：

 kubeadm init \
--apiserver-advertise-address=192.168.183.129 --image-repository registry.cn-hangzhou.aliyuncs.com/google_containers \
--kubernetes-version v1.19.3 \
--service-cidr=10.96.0.0/12 \
--apiserver-cert-extra-sans=192.168.183.129 \
--pod-network-cidr=192.168.183.1/24

含义：
1.选项--pod-network-cidr=192.168.0.0/16表示集群将使用Calico网络，这里需要提前指定Calico的子网范围
2.选项--kubernetes-version=v1.15.1指定K8S版本，这里必须与之前导入到Docker镜像版本一致，否则会访问谷歌去重新下载K8S最新版的Docker镜像
3.选项--apiserver-advertise-address表示绑定的网卡IP，这里一定要绑定前面提到的enp0s8网卡，否则会默认使用enp0s3网卡
4.若执行kubeadm init出错或强制终止，则再需要执行该命令时，需要先执行kubeadm reset重置

kubeadm init参数说明

 --apiserver-advertise-address string   设置 apiserver 绑定的 IP.
      --apiserver-bind-port int32            设置apiserver 监听的端口. (默认 6443)
      --apiserver-cert-extra-sans strings    api证书中指定额外的Subject Alternative Names (SANs) 可以是IP 也可以是DNS名称。 证书是和SAN绑定的。
      --cert-dir string                      证书存放的目录 (默认 "/etc/kubernetes/pki")
      --certificate-key string               kubeadm-cert secret 中 用于加密 control-plane 证书的key
      --config string                        kubeadm 配置文件的路径.
      --cri-socket string                    CRI socket 文件路径，如果为空 kubeadm 将自动发现相关的socket文件; 只有当机器中存在多个 CRI  socket 或者 存在非标准 CRI socket 时才指定.
      --dry-run                              测试，并不真正执行;输出运行后的结果.
      --feature-gates string                 指定启用哪些额外的feature 使用 key=value 对的形式。
  -h, --help                                 帮助文档
      --ignore-preflight-errors strings      忽略前置检查错误，被忽略的错误将被显示为警告. 例子: 'IsPrivilegedUser,Swap'. Value 'all' ignores errors from all checks.
      --image-repository string              选择拉取 control plane images 的镜像repo (default "k8s.gcr.io")
      --kubernetes-version string            选择K8S版本. (default "stable-1")
      --node-name string                     指定node的名称，默认使用 node 的 hostname.
      --pod-network-cidr string              指定 pod 的网络， control plane 会自动将 网络发布到其他节点的node，让其上启动的容器使用此网络
      --service-cidr string                  指定service 的IP 范围. (default "10.96.0.0/12")
      --service-dns-domain string            指定 service 的 dns 后缀, e.g. "myorg.internal". (default "cluster.local")
      --skip-certificate-key-print           不打印 control-plane 用于加密证书的key.
      --skip-phases strings                  跳过指定的阶段（phase）
      --skip-token-print                     不打印 kubeadm init 生成的 default bootstrap token 
      --token string                         指定 node 和control plane 之间，简历双向认证的token ，格式为 [a-z0-9]{6}\.[a-z0-9]{16} - e.g. abcdef.0123456789abcdef
      --token-ttl duration                   token 自动删除的时间间隔。 (e.g. 1s, 2m, 3h). 如果设置为 '0', token 永不过期 (default 24h0m0s)
      --upload-certs                         上传 control-plane 证书到 kubeadm-certs Secret.

由于默认拉取镜像地址 k8s.gcr.io 国内无法访问，这里指定阿里云镜像仓库地址。可以手动按照我们的 master_ images.sh 先拉取镜像，地址变为 registry.cn-hangzhou.aliyuncs.com/google_containers 也可以。master_images.sh

#!/bin/bash

images=(
    kube-apiserver:v1.19.3
    kube-proxy:v1.19.3
    kube-controller-manager:v1.19.3
    kube-scheduler:v1.19.3
    coredns:1.6.5
    etcd:3.4.3-0
    pause:3.1
)

for imageName in ${images[@]} ; do
    docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/$imageName
#   docker tag registry.cn-hangzhou.aliyuncs.com/google_containers/$imageName  k8s.gcr.io/$imageName
done

将上边的文件上传到服务器，然后执行：

chmod +x master_images.sh  # 修改文件可执行权限
sh ./master_images.sh

执行上边的命令后，就下载了我们需要的镜像了。

下载好了镜像之后，再执行上边的初始化命令，如果没有先下载好镜像初始化命令可能会运行好久出错了也不好找：

$ kubeadm init \
--apiserver-advertise-address=192.168.183.129 --image-repository registry.cn-hangzhou.aliyuncs.com/google_containers \
--kubernetes-version v1.19.3 \
--service-cidr=10.96.0.0/12 \
--apiserver-cert-extra-sans=192.168.183.129 \
--pod-network-cidr=192.168.183.1/24

记录生成的最后部分内容，此内容需要在其它节点加入Kubernetes集群时执行,根据提示创建kubectl(只有master执行)

 mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config

使kubectl可以自动补充(只有master执行)

source <(kubectl completion bash)

master主节点初始化报错 /proc/sys/net/ipv4/ip_forward contents are not set to 1
kubernetes
问题描述：master主节点初始化报错
[root@harbor01 ~]# kubeadm init --config kubeadm-config.yaml
W0311 17:15:57.116061 8185 validation.go:28] Cannot validate kube-proxy config - no validator is available
W0311 17:15:57.116107 8185 validation.go:28] Cannot validate kubelet config - no validator is available
[init] Using Kubernetes version: v1.17.3
[preflight] Running pre-flight checks
[WARNING IsDockerSystemdCheck]: detected “cgroupfs” as the Docker cgroup driver. The recommended driver is “systemd”. Please follow the guide at https://kubernetes.io/docs/setup/cri/
error execution phase preflight: [preflight] Some fatal errors occurred:
[ERROR FileContent–proc-sys-net-ipv4-ip_forward]: /proc/sys/net/ipv4/ip_forward contents are not set to 1
[preflight] If you know what you are doing, you can make a check non-fatal with --ignore-preflight-errors=…
To see the stack trace of this error execute with --v=5 or higher
处理方法：echo 1 > /proc/sys/net/ipv4/ip_forward

k8s报错：The connection to the server localhost:8080 was refused
解决办法

拷贝master节点的/etc/kubernetes/admin.conf配置文件到/etc/kubernetes/目录下，并执行如下命令

 mkdir -p $HOME/.kube
  sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
  sudo chown $(id -u):$(id -g) $HOME/.kube/config

2、测试kubectl(主节点执行)

获取所有节点:kubectl get nodes

创建网络（选其一）

如果不创建网络，查看pod状态时，可以看到kube-dns组件是阻塞状态，集群时不可用的：

[root@k8s-node1 ~]# kubectl get pods -n kube-system
NAME                                READY   STATUS    RESTARTS   AGE
coredns-5c98db65d4-8nftr            0/1     Pending   0          3m28s #阻塞
coredns-5c98db65d4-n2zbj            0/1     Pending   0          3m28s #阻塞
etcd-k8s-node1                      1/1     Running   0          2m44s
kube-apiserver-k8s-node1            1/1     Running   0          2m51s
kube-controller-manager-k8s-node1   1/1     Running   0          2m41s
kube-proxy-cdvhk                    1/1     Running   0          3m28s
kube-scheduler-k8s-node1            1/1     Running   0          2m35s

3安装Calico网络插件

kubectl apply -f https://docs.projectcalico.org/manifests/calico.yaml

3、安装Pod网络插件(CNI)******

kubectl apply -f \
https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml

以上地址可能被墙，可以获取已经下载好的 kube-flannel.yml运行即可。

wget yml 的本地下载地址：

yum -y install wget

wget https://digtime-k8s.oss-cn-heyuan.aliyuncs.com/k8s/kube-flannel.yml

同时 kube-flannel.yml 中指定的images 访问不到可以去 docker hub 找一个。
vi 修改 yml 所有 amd64 的地址都修改了即可。
等待大约 3 分钟

将上述文件下载到服务器，然后执行：

[root@k8s-node2 k8s]# kubectl apply -f kube-flannel.yml 
# kubectl delete -f kube-flannel.yml（删除配置） 

执行完之后，查看命名空间：

# kubectl get ns # 查看节点
kubectl get pods -n kube-system # 查看指定名称空间的pods
kubectl get pods --all-namespaces # 查看所有名称空间的pods

所有的名称空间pods:

4、其他节点加入到主节点

其他节点要加入到主节点，需要使用初始化生成的 kubeadmin join，不过这个Token一般两个小时内有效，如果超过有效期未加入，则需要重新生成。

kubeadm join 10.0.2.4:6443 --token 9ynlak.9aqy7s13j1fqk2cy \
    --discovery-token-ca-cert-hash sha256:251d64a3e79b3a8bd0f7ebea7385819c3357732059b49d6e2d5776e8e7897d4c 

Token过期处理方法：

kubeadm token create --print-join-command   # 生成的Token有效期为两个小时
kubeadm token create --ttl 0 --print-join-command # --ttl0 该参数表示生成的Token永久有效

在主节点可以看到 k8s-node3 节点已经加入进来了kubectl get nodes

节点监控：

watch kubectl get pod -n kube-system -o wide