k8s集群搭建完整过程

1.安装前说明

服务器必须是Centos 7.2及以上，Kubernetes 我们采用1.15.*版本
Docker-ce v18.06.3，Etcd 3.2.9，Flanneld v0.7.0-amd64
TLS 认证通信（所有组件，如etcd、kubernetes master 和node）
RBAC 授权，kubedns、dashboard
注意事项:
Docker安装的版本需与K8s版本批配，不然会出问题
Kubernetes 1.15.2 -->Docker版本1.13.1、17.03、17.06、17.09、18.06、18.09
Kubernetes 1.15.1 -->Docker版本1.13.1、17.03、17.06、17.09、18.06、18.09
Kubernetes 1.15.0 -->Docker版本1.13.1、17.03、17.06、17.09、18.06、18.09
Kubernetes 1.14.5 -->Docker版本1.13.1、17.03、17.06、17.09、18.06、18.09
Kubernetes 1.14.4 -->Docker版本1.13.1、17.03、17.06、17.09、18.06、18.09
Kubernetes 1.14.3 -->Docker版本1.13.1、17.03、17.06、17.09、18.06、18.09
Kubernetes 1.14.2 -->Docker版本1.13.1、17.03、17.06、17.09、18.06、18.09
Kubernetes 1.14.1 -->Docker版本1.13.1、17.03、17.06、17.09、18.06、18.09
Kubernetes 1.14.0 -->Docker版本1.1

2.环境准备

之前在本机笔记本开VMWare跑集群，感觉资源有些吃紧，看到某公有云在搞促销，直接下手三台服务器（2核+4G+5M带宽）

分别登录三台服务器修改Host Name

hostnamectl set-hostname k8s-master  \#Master节点
hostnamectl set-hostname k8s-node1  \#node1节点
hostnamectl set-hostname k8s-node2  \#node2节点

修改后，我们三台主机如下：

name	IP	数量
k8s-master	192.168.0.66	Master节点
k8s-node1	192.168.0.137	工作节点1
k8s-node2	192.168.0.230	工作节点2

3.环境初始化

以下步骤在三台服务器上均执行一遍
关闭selinux

setenforce 0
\# sed -i  's@^\(SELINUX=\).*@\1disabled@' /etc/selinux/config

关闭防火墙及IP TABLE

systemctl  stop firewalld.service
systemctl  disable firewalld.service
systemctl disable iptables  
systemctl stop iptables

设置host
vim /etc/hosts
192.168.0.66 k8s-master
192.168.0.137 k8s-node1
192.168.0.230 k8s-node2

4.安装Docker

备份源
sudo mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.bak
修改OS源为阿里的仓库

curl -o /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo

安装常用命令
yum -y install conntrack ipvsadm ipset jq sysstat curl iptables libseccomp wget lrzsz nmap lsof net-tools zip unzip vim telnet
安装依赖项
yum install -y yum-utils device-mapper-persistent-data lvm2
安装Docker源为阿里
yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
清理缓存
yum clean all
** 重新生成缓存**
yum makecache
再次查看yum源信息
yum repolist

可以看出，我们的源已经更新到aliyun.com。
下一步我们开始安装Docker
安装指定版本的Docker，如果不知道版本名称，可以用如下命令查看
yum list docker-ce --showduplicates | sort -r

我们安装18.06.3版本，k8s对应1.15.*
sudo yum install docker-ce-18.06.3.ce-3.el7
安装完毕后，我们测试下

[root@k8s-master ~]# docker version
Client:
 Version:           18.06.3-ce
 API version:       1.38
 Go version:        go1.10.3
 Git commit:        d7080c1
 Built:             Wed Feb 20 02:26:51 2019
 OS/Arch:           linux/amd64
 Experimental:      false

启动Docker
sudo chkconfig docker on #设置开机启动
systemctl start docker
修改Docker镜像仓库为国内镜像

部分系统安装后未生成daemon.json，请执行以下命令

[root@promote ~]# mkdir -p /etc/docker
[root@promote ~]# touch /etc/docker/daemon.json 
[root@promote ~]# vim /etc/docker/daemon.json

配置文件内容格式如下：

{
"exec-opts": ["native.cgroupdriver=systemd"],
"registry-mirrors":["公网仓库地址"]
}

公网仓库地址以下三个任选其一，也可以找其他开放的仓库地址或自建仓库
https://docker.mirrors.ustc.edu.cn
https://registry.docker-cn.com
http://hub-mirror.c.163.com
修改后刷新daemon.json，重启docker服务使配置生效

systemctl daemon-reload
sudo systemctl restart docker.service

执行完后，可以查看下docker状态及详细信息

service docker status
docker info

如果不能正常启动docker，大概率是daemon.json文件有问题
我检查了好几次该文件的内容，因为是复制的内容，所以符号是中文的，单词也拼写错误，需要注意的几点如下：
1、注意符号是否是英文符号
2、单词是否拼写正确
3、json文件格式是否正确
以上步骤在三台机器均执行完毕后，且Docker状态正常，我们就开始安装K8S集群了

5.安装K8S

以下安装步骤在3台服务器上均执行一遍
安装K8S源

cat < /etc/yum.repos.d/kubernetes.repo    
[kubernetes]    
name=Kubernetes 
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1   
gpgcheck=0  
repo_gpgcheck=0 
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg 
https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg   
EOF

导入公钥

wget  https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg
rpm --import yum-key.gpg
wget https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
rpm --import rpm-package-key.gpg

安装
yum install -y kubelet-1.15.9-0 kubeadm-1.15.9-0 kubectl-1.15.9-0
启动
systemctl enable kubelet && systemctl start kubelet # 自启动kubelet
systemctl status kubelet #查看状态
说明
kubectl 是命令行工具，所以不用启动
kubeadm 是集群搭建工具，也不用启动
kubelet 是节点管理工具，需要在所有节点启动
注意 : 以上所有教程，都需要在集群所有机器上均操作一遍，包括安装 kubectl kubeadm kubelet，启动 kubelet
在虚拟机上部署k8s 1.9版本需要关闭操作系统交换分区
# swapoff -a
初始化K8S集群
在master节点上执行如下命令，其他节点不执行
注意命令的master ip及主机名，我的master主机名是k8s-master

kubeadm init --kubernetes-version=v1.15.9 --pod-network-cidr=10.244.0.0/16 --apiserver-advertise-address=192.168.0.66 --apiserver-cert-extra-sans=192.168.0.66,k8s-master   --image-repository registry.aliyuncs.com/google_containers

参数含义：
--kubernetes-version：指定kubeadm版本；
--pod-network-cidr：指定pod所属网络
--image-repository 指定下载源
--service-cidr：指定service网段,负载均衡ip
--ignore-preflight-errors=Swap/all：忽略 swap/所有 报错
--apiserver-advertise-address 指明用 Master 的哪个 interface 与 Cluster 的其他节点通信。如果 Master 有多个 interface，建议明确指定，如果不指定，kubeadm 会自动选择有默认网关的 interface。
--pod-network-cidr 指定 Pod 网络的范围。Kubernetes 支持多种网络方案，而且不同网络方案对 --pod-network-cidr 有自己的要求，这里设置为 10.244.0.0/16 是因为我们将使用 flannel 网络方案，必须设置成这个 　CIDR。在后面的实践中我们会切换到其他网络方案，比如 Canal。
初始化过程简要如下：
① kubeadm 执行初始化前的检查。
② 生成 token 和证书。
③ 生成 KubeConfig 文件，kubelet 需要这个文件与 Master 通信。
④ 安装 Master 组件，会从 goolge 的 Registry 下载组件的 Docker 镜像，这一步可能会花一些时间，主要取决于网络质量。
⑤ 安装附加组件 kube-proxy 和 kube-dns。
⑥ Kubernetes Master 初始化成功。
⑦ 提示如何配置 kubectl，后面会实践。
⑧ 提示如何安装 Pod 网络，后面会实践。
⑨ 提示如何注册其他节点到 Cluster，后面会实践。
我们执行初始化时报了一个错误：
[WARNING IsDockerSystemdCheck]: detected "cgroupfs" as the Docker cgroup driver. The recommended driver is "systemd". Please follow the guide at https://kubernetes.io/docs/setup/cri/
error execution phase preflight: [preflight] Some fatal errors occurred:
出现[WARNING IsDockerSystemdCheck]，是由于docker的Cgroup Driver和kubelet的Cgroup Driver不一致导致的，此处选择修改docker的和kubelet一致
docker info | grep Cgroup #查看当前的cgroup
默认系统返回：Cgroup Driver: cgroupfs，我们要修改为systemd

vim /etc/docker/daemon.json 加入下面这一行
"exec-opts": ["native.cgroupdriver=systemd"]
我本机修改后的daemon.json如下，配置了多个国内的镜像源

 {
 "registry-mirrors":["https://mirror.ccs.tencentyun.com","https://docker.mirrors.ustc.edu.cn", "https://dockerhub.azk8s.cn", "https://reg-mirror.qiniu.com","https://registry.docker-cn.com"],
 "exec-opts": ["native.cgroupdriver=systemd"]
}

刷新并重启docker

systemctl daemon-reload 
systemctl restart docker

然后我们重新执行初始化命令提示
[ERROR FileAvailable--etc-kubernetes-manifests-kube-apiserver.yaml]: /etc/kubernetes/manifests/kube-apiserver.yaml already exists
由于第一次没初始化成功，但相关文件没有清理，我们执行下面的命令，重置下环境，再初始化
kubeadm reset
重新执行初始化，约半分钟，系统提示成功，系统生成的加入节点的命令和token自行保存下备用

以下信息自行保存起来备用
To start using your cluster, you need to run the following as a regular user:
   mkdir -p $HOME/.kube
  sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
  sudo chown $(id -u):$(id -g) $HOME/.kube/config 
Then you can join any number of worker nodes by running the following on each as root:
 
kubeadm join 192.168.0.66:6443 --token 46lv86.ts6k9yc4p0dwsu1c \
    --discovery-token-ca-cert-hash sha256:956c98d52f3a0981a5b44d70317b89696f03418eef4efe921a991b31a3644727 

新版本的k8s初始化时会提示，因为官方要求镜像从k8s.gcr.io官方获取，但我们可以自己手动操作。
'''docker pull coredns/coredns
docker tag coredns/coredns:latest registry.cn-hangzhou.aliyuncs.com/google_containers/coredns/coredns:v1.8.0
docker rmi coredns/coredns:latest

kubeadm init --kubernetes-version=v1.21.1 --pod-network-cidr=10.244.0.0/16 --apiserver-advertise-address=10.0.16.8 --apiserver-cert-extra-sans=10.0.16.8,k8s-master --image-repository registry.cn-hangzhou.aliyuncs.com/google_containers
'''

6.配置K8S

将当前用户配置为集群管理员（如果不配置，下次连接时会无法使用kubectl）

  mkdir -p $HOME/.kube
  sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
  sudo chown $(id -u):$(id -g) $HOME/.kube/config

部署flannel
kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml
加入子节点
然后到其他两个节点执行如下命令，添加节点到master.

前面保存的加入节点命令和token，这个环节使用，后续有新服务器加入同样在新节点执行该命令即可
kubeadm join 192.168.0.66:6443 --token 46lv86.ts6k9yc4p0dwsu1c \
    --discovery-token-ca-cert-hash sha256:956c98d52f3 ****

加入完毕后，我们用命令kubectl get nodes获取所有节点

[root@k8s-master ~]# kubectl get nodes
NAME         STATUS     ROLES    AGE    VERSION
k8s-master   Ready      master   115m   v1.15.9
k8s-node1    NotReady      111m   v1.15.9
k8s-node2    Ready         111m   v1.15.9

验证安装信息

检查系统基础模块健康度
[root@k8s-master ~]# kubectl get componentstatus
NAME                 STATUS    MESSAGE             ERROR
scheduler            Healthy   ok                  
controller-manager   Healthy   ok                  
etcd-0               Healthy   {"health":"true"}  

检查node状态，如果有工作节点NotReady，等几分钟一般就会正常
[root@k8s-master ~]# kubectl get nodes
NAME         STATUS     ROLES    AGE    VERSION
k8s-master   Ready      master   115m   v1.15.9
k8s-node1    NotReady      111m   v1.15.9
k8s-node2    Ready         111m   v1.15.9

检查系统pod状态
[root@k8s-master ~]# kubectl get pods -n kube-system
NAME                                 READY   STATUS    RESTARTS   AGE
coredns-94d74667-l8lqt               1/1     Running   0          115m
coredns-94d74667-svgrk               1/1     Running   0          115m
etcd-k8s-master                      1/1     Running   0          115m
kube-apiserver-k8s-master            1/1     Running   0          114m
kube-controller-manager-k8s-master   1/1     Running   0          115m
kube-flannel-ds-amd64-64zsm          1/1     Running   0          2m5s
kube-flannel-ds-amd64-csb8h          1/1     Running   0          2m5s
kube-flannel-ds-amd64-nfcsh          1/1     Running   0          2m5s
kube-proxy-b669n                     1/1     Running   0          112m
kube-proxy-d84cb                     1/1     Running   0          115m
kube-proxy-w7tv7                     1/1     Running   0          111m
kube-scheduler-k8s-master            1/1     Running   0          115m

可能会遇到的错误：
FileContent--proc-sys-net-bridge-bridge-nf-call-iptables
解决命令：
echo 1 > /proc/sys/net/bridge/bridge-nf-call-iptables
echo 1 > /proc/sys/net/bridge/bridge-nf-call-ip6tables
测试K8S集群
这里为了快速地验证一下我们的K8S集群是否可用，创建一个示例Pod：

[root@k8s-master ~]# kubectl create deployment nginx --image=nginx
deployment.apps/nginx created
[root@k8s-master ~]# kubectl expose deployment nginx --port=80 --type=NodePort
service/nginx exposed
[root@k8s-master ~]# kubectl get pod,svc
NAME                         READY   STATUS    RESTARTS   AGE
pod/nginx-554b9c67f9-n9rsv   1/1     Running   0          17s

NAME                 TYPE        CLUSTER-IP    EXTERNAL-IP   PORT(S)        AGE
service/kubernetes   ClusterIP   10.96.0.1             443/TCP        129m
service/nginx        NodePort    10.98.172.7           80:30030/TCP   9s

如果想要看到Pod更多的信息，比如pod被部署在了哪个Node上，可以通过 kubectl get pods,svc -o wide来查看。
因为我们采用的是NodePort方式，该模式会直接将服务映射为主机的一个端口，用户通过主机IP+端口可以访问到该服务，其映射暴露出的端口号会在30000-32767范围内随机取一个，上面部署的nginx我们看到其端口是30030，那么我们用公网122.112.xx.xx:30030测试，如下图所示，已经可以访问到nginx默认页。

PS：公有云服务默认有防火墙，需要自行到云管理界面开放这些端口的访问，否则会认为k8s问题，排查起来很浪费时间。

7.安装Dashboard

Dashboard是k8s的管理UI界面，其安装过程最复杂的是证书的处理。
获取并修改Dashboard安装的Yaml文件

wget http://mirror.faasx.com/kubernetes/dashboard/master/src/deploy/recommended/kubernetes-dashboard.yaml

修改该文件配置
vim kubernetes-dashboard.yaml
按i，然后按方向键滚动到最后，节点是kind: service这部分

kind: Service
apiVersion: v1
metadata:
  labels:
    k8s-app: kubernetes-dashboard
  name: kubernetes-dashboard
  namespace: kube-system
spec:
  type: NodePort  插入这一行，注意对齐及空格
  ports:
    - port: 443
      nodePort: 30000  插入一行，如果指定，则K8S会自动分配一个端口，注意手工填写端口范围不能超出k8s默认限制，
      targetPort: 8443
  selector:
    k8s-app: kubernetes-dashboard

esc wq保存
以下开始处理证书
mkdir key && cd key
生成证书
openssl genrsa -out dashboard.key 2048

我这里写的自己的node1节点，因为我是通过nodeport访问的；如果通过apiserver访问，可以写成自己的master节点ip
openssl req -new -out dashboard.csr -key dashboard.key -subj '/CN=192.168.0.66'
openssl x509 -req -in dashboard.csr -signkey dashboard.key -out dashboard.crt 

创建新的证书secret
kubectl create secret generic kubernetes-dashboard-certs --from-file=dashboard.key --from-file=dashboard.crt -n kube-system

执行安装
kubectl apply -f kubernetes-dashboard.yaml

安装可能需要几分钟，通过kubectl get pod -n kube-system查看状态

创建用户信息
1.创建一个叫admin-user的服务账号:

[root@k8s01 ~]# vim dashboard-admin.yaml 
apiVersion: v1
kind: ServiceAccount
metadata:
  name: admin-user
  namespace: kube-system

然后执行创建用户
kubectl create -f dashboard-admin.yaml
2.直接绑定admin角色:

vim admin-user-role-binding.yaml
apiVersion: rbac.authorization.k8s.io/v1beta1
kind: ClusterRoleBinding
metadata:
  name: admin-user
roleRef:
  apiGroup: rbac.authorization.k8s.io
  kind: ClusterRole
  name: cluster-admin
subjects:
- kind: ServiceAccount
  name: admin-user
  namespace: kube-system

执行绑定：
kubectl create -f admin-user-role-binding.yaml
3.查看绑定是否成功
kubectl get clusterrolebinding

验证安装
查看pod运行状态

kubectl get pod -n kube-system | grep dashboard
kubernetes-dashboard-8594bd9565-rx5xg   1/1     Running   0          5m57s

查看dashborad service
kubectl get svc -n kube-system|grep dashboard
kubernetes-dashboard   NodePort    10.110.157.149           443:30000/TCP            6m26s

查看pod运行日志，关注有没有错误
kubernetes-dashboard-8594bd9565-zjwgv是pod的名称，每个环境产生的名称各不相同
kubectl logs kubernetes-dashboard-8594bd9565-zjwgv -n kube-system

获取登录Dashboard的Token

找到admin-user-token用户
kubectl -n kube-system get secret

如上图所示，我们环境的这个帐户名是admin-user-token-mmc64

获取token串
kubectl -n kube-system describe secret admin-user-token-mmc64

如上图所示，该帐户的登录token已经产生，自行复制保存下来，后面登录dashboard就使用这个token，我们输入https://ip:30000测试下登录，注意dahsboard是使用的https协议。

输入前面我们获取到的token进行登录

至此，我们K8S集群的基本安装完成。

8.后记

如果由于其它原因，或者想再搭建一次，可以执行kubeadm reset 操作，重置所有配置，恢复到刚安装好 kubectl kubeadm kubelet 的状态，再来一次。

配置k8s忽略使用swap

KUBELET_EXTRA_ARGS="--fail-swap-on=false"

配置docker代理

[Service]
Environment="HTTPS_PROXY=http://www.ik8s.io:10080"
Environment="NO_PROXY=127.0.0.0/8"

systemctl daemon-reload
systemctl restart docker

如果要卸载dashboard

sudo kubectl delete deployment kubernetes-dashboard --namespace=kube-system 
sudo kubectl delete service kubernetes-dashboard  --namespace=kube-system 
sudo kubectl delete role kubernetes-dashboard-minimal --namespace=kube-system 
sudo kubectl delete rolebinding kubernetes-dashboard-minimal --namespace=kube-system
sudo kubectl delete sa kubernetes-dashboard --namespace=kube-system 
sudo kubectl delete secret kubernetes-dashboard-certs --namespace=kube-system
sudo kubectl delete secret kubernetes-dashboard-csrf --namespace=kube-system
sudo kubectl delete secret kubernetes-dashboard-key-holder --namespace=kube-system