K8s进阶

K8s进阶

核心组件

HPA

Deployment支持二级控制器HPA（HorizontalPodAutoscaler，水平pod自动伸缩控制器），当用户访问流量增加时，节点上的pod不足以承载这么多访问量了，此时我们应该增加pod资源，HPA控制器就可以自动监控pod来确定需要扩展多少个pod。

service

pod是由声明周期的，一个pod有可能随时被另外一个pod给替换掉，加入它们是同一种服务，客户端是无法通过固定的手段来访问这些pod得到，因为pod本身是不固定的，无论是主机名还是ip地址随时都可能在变换。

为了尽可能的降低客户端与pod之间协调的复杂度，k8s为每一组提供同类服务的pod和其客户端之间添加了一个中间层，这个中间层是固定的，中间层就叫service。

service只要不被删除，其地址与名称都是固定的，当客户端需要在其配置文件中写上访问某个服务时，它不再需要自动发现，只需要在配置文件中写明service的名称即可，而这个service是个调度器，其不但能提供稳定的访问入口，还能做方向代理和均衡负载，当service接收到客户端的请求后，会将其代理到后端pod之上，一旦pod出现故障会立即新建立一个pod，这个新建的pod会立即被service关联上，作为service后端可用的pod之一。

客户端程序访问服务都是通过ip:端口或主机名:端口的方式来实现的。而service关联后端的pod不是靠它的ip和主机，而是靠pod的标签选择器。只要创建pod的label是统一的，无论ip和主机如何改变，其都能被service所识别。如此一来，只要pod属于标签选择器，只要其在service的管理范围之内，则其就会被关联到service中，当这个动态的pod关联到service中后，再进行动态的探测此pod的ip地址、端口，将其作为自己后端可调度的服务器主机对象，因此，客户端得到请求发送到service，然后由service代理到后端真是的pod中的容器进行响应。

service不是一个程序，也不是一个组件，它只是一个iptables的dnat规则，service作为k8s的对象，有其自己的名称，而service的名称相当于服务名，而这个名称可以被解析。

AddOns附件

dns pod

安装完k8s后第一件事就需要在k8s集群上部署一个dns pod，以确保个service的名称能够被解析。可以动态改变，包括动态创建、删除、修改。

比如把service名称改了，dns pod会自动触发，将dns解析记录中的名称也改掉，假如我们手动吧service的ip地址改了，同样会自动触发，将dns服务中的解析记录给改掉。如此一来，客户端去访问pod资源的时候可以直接访问service的名称，然后由集群中专用的dns服务来负责解析。

这种pod是k8s自身服务就需要用到的pod，所以我们把它称为基础性的系统架构级的pod对象，而且它们也被称为集群附件。

pod容器分类

1Infrastructure Container：基础容器
•维护整个Pod网络空间

2InitContainers：初始化容器
•先于业务容器开始执行

3Containers：业务容器
•并行启动

控制器类型以及功能

k8s的控制器一共有如下几种：

ReplicationController（已弃用）和ReplicaSet
Deployment
DaemonSet
StatefulSet
Job/CronJob
Horizontal Pod Autoscaling
下面对每种进行详细介绍

ReplicationController和ReplicaSet
RC和RS的作用一致，都是确保pod的副本数量维持在期望水平，但是RS可以根据容器的label进行集合式的选择，这个RC是做不到的，所以RC被RS淘汰了。

Deployment
Deployment为pod和RS提供一个声明式（declarative）方法，替代以前的RC来管理应用。

命令式编程：一步步告诉程序应该执行的命令
声明式编程：只声明一个结果，并不给出具体步骤，然后让计算机去实现

典型的应用场景如下：

定义Deployment来创建pod和RS
滚动升级和回滚应用
通过创建新的RS在下面创建pod，并停止旧RS来进行升级。重新启动旧RS而停止新RS来达到回滚的目的。
扩容和缩容
暂停和继续Deployment
在可选RS和Deployment的情况下，优先选择Deployment。

DaemonSet
DaemonSet确保全部或一些Node上运行一个pod的副本。当有Node加入集群时，也会为该Node创建一个pod副本。

典型的应用场景如下：

运行集群存储的Daemon，例如glusterd，ceph
运行日志收集Daemon，例如fluentd，logstash
运行监控的Daemon，例如Prometheus Node Exporter，collectd等
Job
在pod里面部署一些脚本单次运行，并确保这些pod成功结束。

CronJob
类似linux的Cron，用来在给定时间点或者是周期循环执行任务。

StatefulSet
StatefulSet为pod提供了唯一的标识，可以保证部署和scale的顺序。区别于RS的无状态服务，StatefulSet是为了解决有状态服务而创建的。典型应用场景如下：

稳定的持久化存储，即pod重新调度后还是能访问到完全相同的存储
稳定的网络标识，即pod重新调度后其podname和hostname不变
有序部署，有序扩展，从0到N-1，通过前面说的Init容器来实现
有序收缩，有序删除，从N-1到0，后启动的pod先停止，避免报错
HPA
HPA有点像上面这些控制器的附属品，通过一些指标，例如cpu，去控制之前提到的控制器达到自动扩缩容的目的。HPA不直接控制pod。

实际操作
以下所有yaml文件都托管在Github:
https://github.com/Victor2Code/centos-k8s-init/tree/master/test%20yaml

RS实际操作
和前面生成pod一样，rs也是通过yaml文件来定义。所有字段的详细解释可以通过kubectl explain rs或者kubectl explain ReplicaSet来查看。

部署Kubernetes

准备环境

角色	IP
master	192.168.207.131
node1	192.168.207.137
node2	192.168.207.136

[root@master ~]# systemctl disable --now firewalld
[root@master ~]# sed -i 's/enforcing/disabled/' /etc/selinux/config
[root@master ~]# vim /etc/fstab
[root@master ~]# hostnamectl set-hostname master.example.com
[root@master ~]# cat >> /etc/hosts << EOF
192.168.207.131 master master.example.com
192.168.207.137 node1 node1.example.com
192.168.207.136 node2 node2.example.com
EOF
[root@master ~]# cat > /etc/sysctl.d/k8s.conf << EOF
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
EOF
[root@master ~]#  sysctl --system  
[root@master ~]# yum -y install chrony
[root@master ~]# systemctl enable --now chronyd
[root@master ~]# ssh-keygen -t rsa
[root@master ~]# ssh-copy-id master
[root@master ~]# ssh-copy-id node1
[root@master ~]# ssh-copy-id node2
[root@master ~]# reboot

所有节点安装Docker/kubeadm/kubelet

先安装Docker。

安装Docker

[root@master ~]# cat > /etc/yum.repos.d/docker-ce.repo << EOF
[Docker-ce]
name=Docker-ce
baseurl=https://mirrors.aliyun.com/docker-ce/linux/centos/8/x86_64/stable/
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=https://mirrors.aliyun.com/docker-ce/linux/centos/gpg
EOF
[root@master ~]# yum -y install docker-ce
[root@master ~]# systemctl enable --now docker
[root@master ~]# cat > /etc/docker/daemon.json << EOF
{ 
"registry-mirrors": ["https://kmny1apu.mirror.aliyuncs.com"], 
"exec-opts": ["native.cgroupdriver=systemd"],
"log-driver": "json-file", 
"log-opts": { "max-size": "100m" 
}, 
"storage-driver": "overlay2"
}
EOF

添加kubernetes阿⾥云YUM软件源

[root@master ~]# cat > /etc/yum.repos.d/kubernetes.repo << EOF
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF

安装kubeadm，kubelet和kubectl

指定版本号部署：

[root@master ~]# yum install -y kubelet-1.20.0 kubeadm-1.20.0 kubectl-1.20.0
[root@master ~]# systemctl enable kubelet

部署Kubernetes

在master执行。

[root@master ~]# kubeadm init \
 --apiserver-advertise-address=192.168.207.131 \
 --image-repository registry.aliyuncs.com/google_containers \
 --kubernetes-version v1.20.0 \
 --service-cidr=10.96.0.0/12 \
 --pod-network-cidr=10.244.0.0/16
 
 # 记录下面的这些东西，后面会用到
 kubeadm join 192.168.207.131:6443 --token dt63lv.vas53zh1hhurw1qz \
    --discovery-token-ca-cert-hash sha256:041af3cde7a184783d7ac5b01cf39ceddad21508c99b746dc3819b2fccb34948

由于默认拉取镜像地址k8s.gcr.io国内⽆法访问，这⾥指定阿⾥云镜像仓库地址。

使⽤kubectl⼯具

[root@master ~]# mkdir -p $HOME/.kube
root@master ~]# cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
[root@master ~]# chown $(id -u):$(id -g) $HOME/.kube/config
[root@master ~]# kubectl get nodes
NAME                 STATUS     ROLES                  AGE     VERSION
master.example.com   NotReady   control-plane,master   4m49s   v1.20.0

安装Pod网络插件

kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml

确保能够访问到quay.io这个registery。

加⼊Kubernetes Node

在192.168.207.137、192.168.207.136上（Node）执⾏。

向集群添加新节点，执⾏在kubeadm init输出的kubeadm join命令

kubeadm join 192.168.207.131:6443 --token dt63lv.vas53zh1hhurw1qz \    --discovery-token-ca-cert-hash sha256:041af3cde7a184783d7ac5b01cf39ceddad21508c99b746dc3819b2fccb34948

测试Kubernetes集群

[root@master ~]# kubectl get nodes
NAME                 STATUS   ROLES                  AGE   VERSION
master.example.com   Ready    control-plane,master   17m   v1.20.0
node1.example.com    Ready    <none>                 89s   v1.20.0
node2.example.com    Ready    <none>                 82s   v1.20.0
# 在Kubernetes集群中创建⼀个pod，验证是否正常运⾏
[root@master ~]# kubectl create deployment nginx --image=nginx
deployment.apps/nginx created
[root@master ~]# kubectl expose deployment nginx --port=80 --type=NodePort
service/nginx exposed
[root@master ~]#  kubectl get pod,svc
NAME                         READY   STATUS              RESTARTS   AGE
pod/nginx-6799fc88d8-hbj7q   0/1     ContainerCreating   0          14s

NAME                 TYPE        CLUSTER-IP    EXTERNAL-IP   PORT(S)        AGE
service/kubernetes   ClusterIP   10.96.0.1     <none>        443/TCP        19m
service/nginx        NodePort    10.98.72.65   <none>        80:31040/TCP   5s