备注：关于本人kubernets相关文档目前都是基于阳明老师的k8s训练营课程学习所得，与阳明老师的文档大部分都相同，但是个人文档也完全是一步一步实操验证过的，部分内容略有添加。
阳明老师博客地址：https://www.qikqiak.com/post/promotion-51/。如有需要自行查阅。
在安装k8s之前先来复习下ipvs相关内容
ipvs (IP Virtual Server) 实现了传输层负载均衡，也就是我们常说的4层LAN交换，作为 Linux 内核的一部分。ipvs运行在主机上，在真实服务器集群前充当负载均衡器。ipvs可以将基于TCP和UDP的服务请求转发到真实服务器上，并使真实服务器的服务在单个 IP 地址上显示为虚拟服务。
ipvs VS iptables
我们知道kube-proxy支持 iptables 和 ipvs 两种模式， 在kubernetes v1.8 中引入了 ipvs 模式，在 v1.9 中处于 beta 阶段，在 v1.11 中已经正式可用了。iptables 模式在 v1.1 中就添加支持了，从 v1.2 版本开始 iptables 就是 kube-proxy 默认的操作模式，ipvs 和 iptables 都是基于netfilter的，那么 ipvs 模式和 iptables 模式之间有哪些差异呢？
ipvs 为大型集群提供了更好的可扩展性和性能
ipvs 支持比 iptables 更复杂的复制均衡算法（最小负载、最少连接、加权等等）
ipvs 支持服务器健康检查和连接重试等功能
环境准备
3个节点，都是centos7.6系统，内核版本3.10.0-957.21.3.el7.x86_64。在每个节点上添加hosts信息。
172.17.122.150 master
172.17.122.151 node01
172.17.122.152 node02
节点的 hostname 必须使用标准的 DNS 命名，另外千万不用什么默认的 localhost 的 hostname，会导致各种错误出现的。在 Kubernetes 项目里，机器的名字以及一切存储在
Etcd 中的 API 对象，都必须使用标准的 DNS 命名（RFC 1123）。可以使用命令 hostnamectl set-hostname ydzs-node1 来修改 hostname。
- 禁用防火墙和SELinux。如果是阿里云服务器的话则默认都是禁用的。
由于要开启内核ipv4转发所以需要加载br_netfilter模块，所以加载下此模块：
modprobe br_netfilter
创建/etc/sysctl.d/k8s.conf文件，添加如下内容：
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
net.ipv4.ip_forward = 1
bridege-nf
bridge-nf 使得 netfilter 可以对 Linux 网桥上的 IPv4/ARP/IPv6 包过滤。比如，设置net.bridge.bridge-nf-call-iptables＝1后，二层的网桥在转发包时也会被 iptables的 FORWARD 规则所过滤。常用的选项包括：
net.bridge.bridge-nf-call-arptables：是否在 arptables 的 FORWARD 中过滤网桥的 ARP 包
net.bridge.bridge-nf-call-ip6tables：是否在 ip6tables 链中过滤 IPv6 包
net.bridge.bridge-nf-call-iptables：是否在 iptables 链中过滤 IPv4 包
net.bridge.bridge-nf-filter-vlan-tagged：是否在 iptables/arptables 中过滤打了 vlan 标签的包。
执行如下命令使修改生效：
sysctl -p /etc/sysctl.d/k8s.conf
安装ipvs:
$ cat > /etc/sysconfig/modules/ipvs.modules <上面的脚本创建了的/etc/sysconfig/modules/ipvs.modules文件，保证在节点重启后能自动加载所需模块。使用lsmod|grep - e iv_vs -e nf_conntrack_ipv4命令查看是否依旧正确加载所需的内核模块。
接下来还需要确保各个节点上已经安装了ipset软件包：
yum install ipset
为了方便查看ipvs的代理规则，最好安装一下管理工具ipvsadm：
yum install ipvsadm
同步服务器时间，阿里云服务器同区域时间都是同步的。无需再操作。如有需要可以使用chrony来配置。
关闭swap分区：
swapoff -a
接下来就可以安装Docker了
[root@master ~]# yum install -y yum-utils device-mapper-persistent-data
[root@master ~]# yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo
[root@master ~]# yum list docker-ce --showduplicates|sort -r #可以选择一个版本进行安装，比如我这里就安装最新版本
[root@master ~]# yum install docker-ce-18.09.9 -y
配置docker镜像加速器：
# daemon.json可能不存在，那么我们需要自己创建
[root@master docker]# cd /etc/docker && cat daemon.json
{
"exec-opts": ["native.cgroupdriver=systemd"],
"registry-mirrors": [
"https://ot2k4d59.mirror.aliyun.com/"
],
"graph": "/data/docker" #修改docker的镜像存储路径
}
由于默认情况下 kubelet 使用的 cgroupdriver 是 systemd，所以需要保持 docker 和kubelet 的 cgroupdriver 一致，我们这里修改 docker 的 cgroupdriver=systemd。如果不修改 docker 则需要修改 kubelet 的启动配置，需要保证两者一致。
启动Docker：
systemctl start docker
systemctl enable docker
在确保 Docker 安装完成后，上面的相关环境配置也完成了，现在我们就可以来安装 Kubeadm 了，我们这里是通过指定yum 源的方式来进行安装的：
cat < /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
# 使用阿里云的源进行安装
baseurl=http://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=http://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg
http://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF
然后安装kubeadm、kubelet、kubectl：
# --disableexcludes 禁掉除了kubernetes之外的别的仓库
[root@master sysctl.d]# yum install -y kubelet-1.16.2 kubeadm-1.16.2 kubectl-1.16.2 --disableexcludes=kubernetes
[root@master sysctl.d]# kubeadm version
kubeadm version: &version.Info{Major:"1", Minor:"16", GitVersion:"v1.16.2", GitCommit:"c97fe5036ef3df2967d086711e6c0c405941e14b", GitTreeState:"clean", BuildDate:"2019-10-15T19:15:39Z", GoVersion:"go1.12.10", Compiler:"gc", Platform:"linux/amd64"}
可以看到我们这里安装的是 v1.16.2 版本，然后将 kubelet 设置成开机启动：
systemctl enable --now kubelet
到这里为止，上面的所有操作都需要在所有节点上执行配置。
初始化集群
然后接下来在master节点上配置kubeadm初始化文件，可以通过如下命令导出默认的初始化配置：
kubeadm config print init-defaults > kubeadm.yaml
然后根据我们自己的需求修改配置文件，比如修改imageRepository的值，kube-proxy的模式为ipvs，另外需要注意的是我们这里是准备安装flanner网络插件，需要将networking.podSubnet设置为10.244.0.0/16
如下：
[root@master ~]# cat kubeadm.yaml
apiVersion: kubeadm.k8s.io/v1beta2
bootstrapTokens:
- groups:
- system:bootstrappers:kubeadm:default-node-token
token: abcdef.0123456789abcdef
ttl: 24h0m0s
usages:
- signing
- authentication
kind: InitConfiguration
localAPIEndpoint:
advertiseAddress: 172.17.122.150 # apiserver 节点内网地址
bindPort: 6443 # apiserver通信端口，后面node节点加入(join)到集群中时用的就是此端口和上面的IP地址
nodeRegistration:
criSocket: /var/run/dockershim.sock
name: master # 默认读取当前master节点的hostname
taints:
- effect: NoSchedule
key: node-role.kubernetes.io/master
---
apiServer:
timeoutForControlPlane: 4m0s
apiVersion: kubeadm.k8s.io/v1beta2
certificatesDir: /etc/kubernetes/pki
clusterName: kubernetes
controllerManager: {}
dns:
type: CoreDNS
etcd:
local:
dataDir: /var/lib/etcd
imageRepository: gcr.azk8s.cn/google_containers # 修改成微软镜像
kind: ClusterConfiguration
kubernetesVersion: v1.16.0
networking:
dnsDomain: cluster.local
podSubnet: 10.244.0.0/16 # Pod 网络，flannel插件需要使用这个网段
serviceSubnet: 10.96.0.0/12
scheduler: {}
---
apiVersion: kubeproxy.config.k8s.io/v1alpha1
kind: KubeProxyConfiguration
mode: ipvs # kube-proxy 模式
- 配置提示
对于上面的资源清单的文档比较杂，要想完整了解上面的资源对象对应的属性，可以查看对应的 godoc 文档，地址: https://godoc.org/k8s.io/kubernetes/cmd/kubeadm/app/apis/kubeadm/v1beta2。
然后使用上面的配置文件进行初始化：
kubeadm init --config kubeadm.yaml
初始化部分信息如下：
......
certs] Generating "apiserver-etcd-client" certificate and key
[certs] Generating "sa" key and public key
[kubeconfig] Using kubeconfig folder "/etc/kubernetes"
[kubeconfig] Writing "admin.conf" kubeconfig file
[kubeconfig] Writing "kubelet.conf" kubeconfig file
[kubeconfig] Writing "controller-manager.conf" kubeconfig file
[kubeconfig] Writing "scheduler.conf" kubeconfig file
[control-plane] Using manifest folder "/etc/kubernetes/manifests"
[control-plane] Creating static Pod manifest for "kube-apiserver"
[control-plane] Creating static Pod manifest for "kube-controller-manager"
[control-plane] Creating static Pod manifest for "kube-scheduler"
[etcd] Creating static Pod manifest for local etcd in "/etc/kubernetes/manifests"
[wait-control-plane] Waiting for the kubelet to boot up the control plane as static Pods from directory "/etc/kubernetes/manifests". This can take up to 4m0s
[apiclient] All control plane components are healthy after 22.002232 seconds
[upload-config] Storing the configuration used in ConfigMap "kubeadm-config" in the "kube-system" Namespace
[kubelet] Creating a ConfigMap "kubelet-config-1.16" in namespace kube-system with the configuration for the kubelets in the cluster
[upload-certs] Skipping phase. Please see --upload-certs
[mark-control-plane] Marking the node master as control-plane by adding the label "node-role.kubernetes.io/master=''"
[mark-control-plane] Marking the node master as control-plane by adding the taints [node-role.kubernetes.io/master:NoSchedule]
[bootstrap-token] Using token: abcdef.0123456789abcdef
[bootstrap-token] Configuring bootstrap tokens, cluster-info ConfigMap, RBAC Roles
[bootstrap-token] configured RBAC rules to allow Node Bootstrap tokens to post CSRs in order for nodes to get long term certificate credentials
[bootstrap-token] configured RBAC rules to allow the csrapprover controller automatically approve CSRs from a Node Bootstrap Token
[bootstrap-token] configured RBAC rules to allow certificate rotation for all node client certificates in the cluster
[bootstrap-token] Creating the "cluster-info" ConfigMap in the "kube-public" namespace
[addons] Applied essential addon: CoreDNS
[addons] Applied essential addon: kube-proxy
Your Kubernetes control-plane has initialized successfully!
To start using your cluster, you need to run the following as a regular user:
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config
You should now deploy a pod network to the cluster.
Run "kubectl apply -f [podnetwork].yaml" with one of the options listed at:
https://kubernetes.io/docs/concepts/cluster-administration/addons/
Then you can join any number of worker nodes by running the following on each as root:
kubeadm join 172.17.122.150:6443 --token abcdef.0123456789abcdef \
--discovery-token-ca-cert-hash sha256:27d2a487e4412c5085ccf97690133f0fed2db6a3d81e3af17af88e90bcbfb613
按照提示继续操作：拷贝kubeconfig文件,kubectl会读取此配置文件
[root@master ~]# mkdir -p $HOME/.kube
[root@master ~]# cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
[root@master ~]# chown $(id -u):$(id -g) $HOME/.kube/config
kubeadm init 命令执行流程如下图所示：
1.png
添加节点
记住初始化集群上面的配置和操作要提前做好，将master节点上面的$HOME/.kube/config文件拷贝到node节点对应的文件中(为了kubectl可以读取config配置文件执行命令获取集群信息)，安装kubeadm、kubelet、kubectl（kubectl可选）,然后执行上面的初始化完成后提示的join命令即可。
[root@node01 ~]# kubeadm join 172.17.122.150:6443 --token abcdef.0123456789abcdef \
> --discovery-token-ca-cert-hash sha256:27d2a487e4412c5085ccf97690133f0fed2db6a3d81e3af17af88e90bcbfb613
[preflight] Running pre-flight checks
[WARNING IsDockerSystemdCheck]: detected "cgroupfs" as the Docker cgroup driver. The recommended driver is "systemd". Please follow the guide at https://kubernetes.io/docs/setup/cri/
[preflight] Reading configuration from the cluster...
[preflight] FYI: You can look at this config file with 'kubectl -n kube-system get cm kubeadm-config -oyaml'
[kubelet-start] Downloading configuration for the kubelet from the "kubelet-config-1.16" ConfigMap in the kube-system namespace
[kubelet-start] Writing kubelet configuration to file "/var/lib/kubelet/config.yaml"
[kubelet-start] Writing kubelet environment file with flags to file "/var/lib/kubelet/kubeadm-flags.env"
[kubelet-start] Activating the kubelet service
[kubelet-start] Waiting for the kubelet to perform the TLS Bootstrap...
This node has joined the cluster:
* Certificate signing request was sent to apiserver and a response was received.
* The Kubelet was informed of the new secure connection details.
Run 'kubectl get nodes' on the control-plane to see this node join the cluster.
- join命令
如果忘记了上面的 join 命令可以使用命令 kubeadm token create --print-join-command 重新获取。
1.png
执行成功后运行 get nodes 命令：
[root@master ~]# kubectl get nodes
NAME STATUS ROLES AGE VERSION
master NotReady master 34m v1.16.2
node01 NotReady 22s v1.16.2
node02 NotReady 5s v1.16.2
可以看到是NotReady状态，这是因为还没有安装网络插件，接下来安装网络插件，可以在文档https://kubernetes.io/docs/setup/production-environment/tools/kubeadm/create-cluster-kubeadm/
中选择我们要安装的网络插件，这里我们使用flannel插件:
wget https://raw.githubusercontent.com/coreos/flannel/2140ac876ef134e0ed5af15c65e414cf26827915/Documentation/kube-flannel.yml
因为有的节点可能是多网卡，所以需要在资源清单文件中指定内网网卡
搜索到名为kube-flannel-ds-adm64的DaemonSet，在kube-flannel容器下面
1.png
然后安装flannel网络插件
kubectl apply -f kube-flannel.yml # 安装flannel网络插件,master节点安装即可
[root@master ~]# kubectl apply -f kube-flannel.yml
podsecuritypolicy.policy/psp.flannel.unprivileged created
clusterrole.rbac.authorization.k8s.io/flannel created
clusterrolebinding.rbac.authorization.k8s.io/flannel created
serviceaccount/flannel created
configmap/kube-flannel-cfg created
daemonset.apps/kube-flannel-ds-amd64 created
daemonset.apps/kube-flannel-ds-arm64 created
daemonset.apps/kube-flannel-ds-arm created
daemonset.apps/kube-flannel-ds-ppc64le created
daemonset.apps/kube-flannel-ds-s390x created
隔一会查看Pod运行状态
[root@master ~]# kubectl get pods -n kube-system
NAME READY STATUS RESTARTS AGE
coredns-667f964f9b-99rbr 1/1 Running 0 100m
coredns-667f964f9b-w2gt7 1/1 Running 0 100m
etcd-master 1/1 Running 0 99m
kube-apiserver-master 1/1 Running 0 99m
kube-controller-manager-master 1/1 Running 0 99m
kube-flannel-ds-amd64-d7bb5 0/1 Init:0/1 0 62s #
kube-flannel-ds-amd64-tqzkw 0/1 Init:0/1 0 62s #
kube-flannel-ds-amd64-x922j 1/1 Running 0 62s #
kube-proxy-25qd4 1/1 Running 0 100m
kube-proxy-bqb2f 1/1 Running 0 66m
kube-proxy-rz2tb 1/1 Running 0 66m
kube-scheduler-master 1/1 Running 0 99m
再等一会查看
[root@master ~]# kubectl get pods -n kube-system
NAME READY STATUS RESTARTS AGE
coredns-667f964f9b-99rbr 1/1 Running 0 103m
coredns-667f964f9b-w2gt7 1/1 Running 0 103m
etcd-master 1/1 Running 0 103m
kube-apiserver-master 1/1 Running 0 102m
kube-controller-manager-master 1/1 Running 0 102m
kube-flannel-ds-amd64-d7bb5 0/1 Init:0/1 0 4m25s #
kube-flannel-ds-amd64-tqzkw 1/1 Running 0 4m25s #
kube-flannel-ds-amd64-x922j 1/1 Running 0 4m25s #
kube-proxy-25qd4 1/1 Running 0 103m
kube-proxy-bqb2f 1/1 Running 0 69m
kube-proxy-rz2tb 1/1 Running 0 69m
kube-scheduler-master 1/1 Running 0 103m
再等待一会
[root@master ~]# kubectl get pods -n kube-system
NAME READY STATUS RESTARTS AGE
coredns-667f964f9b-99rbr 1/1 Running 0 106m
coredns-667f964f9b-w2gt7 1/1 Running 0 106m
etcd-master 1/1 Running 0 105m
kube-apiserver-master 1/1 Running 0 105m
kube-controller-manager-master 1/1 Running 0 105m
kube-flannel-ds-amd64-d7bb5 1/1 Running 0 6m54s #
kube-flannel-ds-amd64-tqzkw 1/1 Running 0 6m54s #
kube-flannel-ds-amd64-x922j 1/1 Running 0 6m54s #
kube-proxy-25qd4 1/1 Running 0 106m
kube-proxy-bqb2f 1/1 Running 0 72m
kube-proxy-rz2tb 1/1 Running 0 72m
kube-scheduler-master 1/1 Running 0 105m
注意每次查看时的结果(标记#)可以看到网络插件正在运行到各个节点，直至节点全部为Running状态。
- Flannel网络插件
当我们部署完网络插件后执行 ifconfig 命令，正常会看到新增的cni0与flannel1这两个虚拟设备，但是如果没有看到cni0这个设备也不用太担心，我们可以观察/var/lib/cni目录是否存在，如果不存在并不是说部署有问题，而是该节点上暂时还没有应用运行，我们只需要在该节点上运行一个 Pod 就可以看到该目录会被创建，并且cni0设备也会被创建出来。
此时再查看集群状态，也就正常了。
[root@master ~]# kubectl get nodes
NAME STATUS ROLES AGE VERSION
master Ready master 112m v1.16.2
node01 Ready 78m v1.16.2
node02 Ready 78m v1.16.2
Dashboard的安装
v1.16.2版本的集群需要安装最新的2.0+版本的Dashboard：
推荐使用下面这种方式
wget https://raw.githubusercontent.com/kubernetes/dashboard/v2.0.0-beta5/aio/deploy/recommended.yaml
vim recommended.yaml
1.png
添加type: NodePort是为了外部能够访问k8s集群，具体请参考Kubernetes的三种外部访问方式：NodePort、LoadBalancer和Ingress。
- 监控组件
在YAML文件中可以看到新版本Dashboard集成了一个metrics-scraper的组件，可以通过Kubernetes的Mettrcs API收集一些基础资源的监控信息，并在web页面上展示，所以要想在页面上展示监控信息就需要提供Metrics API,比如安装Metrics Server。
直接创建：
kubectl apply -f recommended.yaml
[root@master ~]# kubectl apply -f recommended.yaml
namespace/kubernetes-dashboard created
serviceaccount/kubernetes-dashboard created
service/kubernetes-dashboard created
secret/kubernetes-dashboard-certs created
secret/kubernetes-dashboard-csrf created
secret/kubernetes-dashboard-key-holder created
configmap/kubernetes-dashboard-settings created
role.rbac.authorization.k8s.io/kubernetes-dashboard created
clusterrole.rbac.authorization.k8s.io/kubernetes-dashboard created
rolebinding.rbac.authorization.k8s.io/kubernetes-dashboard created
clusterrolebinding.rbac.authorization.k8s.io/kubernetes-dashboard created
deployment.apps/kubernetes-dashboard created
service/dashboard-metrics-scraper created
deployment.apps/dashboard-metrics-scraper created
新版本的 Dashboard 会被默认安装在 kubernetes-dashboard 这个命名空间下面：
[root@master ~]# kubectl get pods -n kubernetes-dashboard -l k8s-app=kubernetes-dashboard
NAME READY STATUS RESTARTS AGE
kubernetes-dashboard-6b86b44f87-z5zjq 1/1 Running 0 54s
参数说明：
-n: 指定k8s的namespace名称
-l: --selector='': Selector (label query) to filter on, supports '=', '==', and '!='.(e.g. -l key1=value1,key2=value2)
1.png
[root@master ~]# kubectl get svc -n kubernetes-dashboard
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
dashboard-metrics-scraper ClusterIP 10.100.100.100 8000/TCP 11m
kubernetes-dashboard NodePort 10.97.88.252 443:31982/TCP 11m
然后可以通过上面的31982端口访问Dashboard，要记住使用https。
然后创建一个具有全局所有权限的用户来登录Dashboard：(admin.yaml)
kind: ClusterRoleBinding
apiVersion: rbac.authorization.k8s.io/v1beta1
metadata:
name: admin
annotations:
rbac.authorization.kubernetes.io/autoupdate: "true"
roleRef:
kind: ClusterRole
name: cluster-admin
apiGroup: rbac.authorization.k8s.io
subjects:
- kind: ServiceAccount
name: admin
namespace: kubernetes-dashboard
---
apiVersion: v1
kind: ServiceAccount
metadata:
name: admin
namespace: kubernetes-dashboard
直接创建
[root@master ~]# kubectl apply -f admin.yaml
clusterrolebinding.rbac.authorization.k8s.io/admin created
serviceaccount/admin created
[root@master ~]# kubectl get secret -n kubernetes-dashboard|grep admin-token
admin-token-mwcv6 kubernetes.io/service-account-token 3 2m58s
[root@master ~]# kubectl get secret admin-token-mwcv6 -o jsonpath={.data.token} -n kubernetes-dashboard |base64 -d #会获取一长串字符串
# 注意：第一条命令的第一个字段值会被用在第二条命令上，拿来获取字符串
拿到此token后输入到登录页面的token处，即可登录到Dashboard控制台。
如果你的集群安装过程中遇到了其他问题，我们可以使用下面的命令来进行重置：
$ kubeadm reset
$ ifconfig cni0 down && ip link delete cni0
$ ifconfig flannel.1 down && ip link delete flannel.1
$ rm -rf /var/lib/cni/