Kubernetes(K8s)学习笔记(一)

1、Kubernetes介绍

1.1 应用部署方式演变

在部署应用程序的方式上，主要经历了三个时代：

• 传统部署：互联网早期，会直接将应用程序部署在物理机上.
  • 优点：简单，不需要其它技术的参与;
  • 缺点：不能为应用程序定义资源使用边界，很难合理地分配计算资源，而且程序之间容易产生影响。
• 虚拟化部署：可以在一台物理机上运行多个虚拟机，每个虚拟机都是独立的一个环境
  • 优点：程序环境不会相互产生影响，提供了一定程度的安全性；
  • 缺点：增加了操作系统，浪费了部分资源
• 容器化部署：与虚拟化类似，但是共享了操作系统，有以下优点：
  • 可以保证每个容器拥有自己的文件系统、CPU、内存、进程空间等；
  • 运行应用程序所需要的资源都被容器包装，并和底层基础架构解耦；
  • 容器化的应用程序可以跨云服务商、跨Linux操作系统发行版进行部署.

三种部署方式如下图所示：

容器化部署方式给带来很多的便利，但是也会出现一些问题，比如说：

• 一个容器故障停机了，怎么样让另外一个容器立刻启动去替补停机的容器;
• 当并发访问量变大的时候，怎么样做到横向扩展容器数量。

这些容器管理的问题统称为容器编排问题，为了解决这些容器编排问题，就产生了一些容器编排的软件，比如：

• Swarm：Docker自己的容器编排工具;
• Mesos：Apache的一个资源统一管控的工具，需要和Marathon结合使用;
• Kubernetes：Google开源的的容器编排工具。

其中，Google的Kubernetes市场占有率独占鳌头，如今已经成为了容器编排的标准。

1.2 Kubernetes简介

Kubernetes，是一个全新的基于容器技术的分布式架构领先方案，是谷歌严格保密十几年的秘密武器----Borg系统的一个开源版本，于2014年9月发布第一个版本，2015年7月发布第一个正式版本。

Kubernetes的本质是一组服务器集群，它可以在集群的每个节点上运行特定的程序，来对节点中的容器进行管理。目的是实现资源管理的自动化，主要提供了如下的主要功能：

• 自动修复：一旦某一个容器崩溃，能够在1秒中左右迅速启动新的容器；
• 弹性伸缩：可以根据需要，自动对集群中正在运行的容器数量进行调整；
• 服务发现：服务可以通过自动发现的形式找到它所依赖的服务；
• 负载均衡：如果一个服务启动了多个容器，能够自动实现请求的负载均衡；
• 版本回退：如果发现新发布的程序版本有问题，可以立即回退到原来的版本；
• 存储编排：可以根据容器自身的需求自动创建存储卷。

1.3 Kubernetes中的组件

一个Kubernetes集群主要是由控制节点(master)，工作节点(node) 构成，每个节点上都会安装不同的组件。

master：集群的控制平面，负责集群的决策 ( 管理 )

• ApiServer : 资源操作的唯一入口，接收用户输入的命令，提供认证、授权、API注册和发现等机制；
• Scheduler : 负责集群资源调度，按照预定的调度策略将Pod调度到相应的node节点上；
• ControllerManager : 负责维护集群的状态，比如程序部署安排、故障检测、自动扩展、滚动更新等；
• Etcd ：负责存储集群中各种资源对象的信息。

node：集群的数据平面，负责为容器提供运行环境 ( 干活 )

• Kubelet : 负责维护容器的生命周期，即通过控制docker，来创建、更新、销毁容器；
• KubeProxy : 负责提供集群内部的服务发现和负载均衡；
• Docker : 负责节点上容器的各种操作。

下面，以部署一个nginx服务来说明Kubernetes系统各个组件调用关系：
1、首先要明确，一旦Kubernetes环境启动之后，master和node都会将自身的信息存储到etcd数据库中。
2、一个nginx服务的安装请求会首先被发送到master节点的apiServer组件。
3、apiServer组件会调用scheduler组件来决定到底应该把这个服务安装到哪个node节点上；在此时，它会从etcd中读取各个node节点的信息，然后按照一定的算法进行选择，并将结果告知apiServer。
4、apiServer调用controller-manager去调度Node节点安装nginx服务。
5、kubelet接收到指令后，会通知docker，然后由docker来启动一个nginx的pod；pod是kubernetes的最小操作单元，容器必须跑在pod中。
6、至此，一个nginx服务就运行了，如果需要访问nginx，就需要通过kube-proxy来对pod产生访问的代理。

这样，外界用户就可以访问集群中的nginx服务了。

1.4 Kubernetes中的概念

Master：集群控制节点，每个集群需要至少一个master节点负责集群的管控；
Node：工作负载节点，由master分配容器到这些node工作节点上，然后node节点上的docker负责容器的运行；
Pod：kubernetes的最小控制单元，容器都是运行在pod中的，一个pod中可以有1个或者多个容器；
Controller：控制器，通过它来实现对pod的管理，比如启动pod、停止pod、伸缩pod的数量等等；（控制器在kubernetes中是一类概念，也就是说，不仅仅只有一种控制器，而是有多种控制器，每一种都各自的使用场景）
Service：pod对外服务的统一入口，下面可以维护着同一类的多个pod；
Label：标签，用于对pod进行分类，同一类pod会拥有相同的标签；
NameSpace：命名空间，用来隔离pod的运行环境。

2、Kubernetes集群环境搭建

2.1 环境规划

2.1.1 集群类型

Kubernetes集群大致分为两类：一主多从和多主多从。

● 一主多从：一个Master节点和多台Node节点，搭建简单，但是有单机故障风险，适合用于测试环境。
● 多主多从：多台Master和多台Node节点，搭建麻烦，安全性高，适合用于生产环境。

为了测试简单，本次搭建的是一主两从类型的集群.

2.1.2 安装方式

目前生产部署Kubernetes 集群主要有两种方式：

• Kubeadm

Kubeadm 是一个K8s 部署工具，提供kubeadm init 和kubeadm join，用于快速部署Kubernetes 集群。
 
官方文档：https://kubernetes.io/docs/reference/setup-tools/kubeadm/kubeadm/

• 二进制包

从github 下载发行版的二进制包，手动部署每个组件，组成Kubernetes 集群。

Kubeadm降低了部署门槛，但屏蔽了很多细节，遇到问题很难排查。如果想更容易可控，推荐使用二进制包部署Kubernetes 集群，虽然手动部署麻烦点，期间可以学习很多工作原理，也利于后期维护。

2.1.3 主机规划

2.2 环境搭建

本次环境搭建需要三台CentOS服务器（一主二从），然后在每台服务器中分别安装Docker（18.06.3）、kubeadm（1.17.4）、kubectl（1.17.4）和kubelet（1.17.4）。

2.2.1 主机安装

略。

2.2.2 环境初始化

(1) 检查操作系统版本

要求操作系统的版本至少在7.5以上.

(2) 主机名解析

为了方便后面集群节点间的直接调用，在这配置一下主机名解析。企业中推荐使用内部DNS服务器。

# 主机名解析，编辑三台服务器 /etc/hosts文件，添加下面内容：
192.168.166.111    k8s-master01
192.168.166.112    k8s-node01
192.168.166.113    k8s-node02

(3) 时间同步

kubernetes要求集群中的节点时间必须精确一致，这里直接使用chronyd服务从网络同步时间。 企业中建议配置内部的时间同步服务器。

# 启动 chronyd服务
[root@k8s-master01 ~]# systemctl start chronyd
# 设置chronyd服务开机自启
[root@k8s-master01 ~]# systemctl enable chronyd
# chronyd服务启动稍等几秒钟，就可以使用date命令验证时间了。
[root@k8s-master01 ~]# date

(4) 禁用iptables和firewalld服务

kubernetes和docker在运行中会产生大量的iptables规则，为了不让系统规则跟它们混淆，直接关闭系统的规则。

# 1、关闭firewalld服务
[root@k8s-master01 ~]# systemctl stop firewalld
[root@k8s-master01 ~]# systemctl disable firewalld
# 2、关闭iptables服务
[root@k8s-master01 ~]# systemctl stop iptables
[root@k8s-master01 ~]# systemctl disable iptables

(5) 禁用selinux

selinux是linux系统下的一个安全服务，如果不关闭它，在安装集群中会产生各种各样的奇葩问题。

# 编辑 /etc/selinux/config 文件，修改SELINUX的值为disabled
# 注意修改完毕之后需要重启linux服务器
SELINUX=disabled

(6) 禁用swap分区

swap分区指的是虚拟内存分区，它的作用是在物理内存使用完之后，将磁盘空间虚拟成内存来使用。启用swap分区会对系统的性能产生非常负面的影响，因此kubernetes要求每个节点都要禁用swap设备，但如果因为某些原因不能关闭swap分区，就需要在集群安装过程中通过明确的参数进行配置说明。

# 编辑分区配置文件 /etc/fstab，注释掉swap分区一行
# 注意修改完毕之后需要重启linux服务器

(7) 修改linux的内核参数

# 修改linux的内核参数，添加网桥过滤和地址转发功能
# 编辑 /etc/sysctl.d/kubernetes.conf 文件，添加如下配置：
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
net.ipv4.ip_forward = 1

# 重新加载配置
[root@k8s-master01 ~]# sysctl -p

# 加载网桥过滤模块
[root@k8s-master01 ~]# modprobe br_netfilter

# 查看网桥过滤模块是否加载成功
[root@k8s-master01 ~]# lsmod | grep br_netfilter

(8) 配置ipvs功能

在kubernetes中service有两种代理模型，一种是基于iptables的，一种是基于ipvs的，两者比较的话，ipvs的性能明显要高一些，但如果要使用它，需要手动载入ipvs模块。

# 1、安装ipset和ipvsadm
[root@k8s-master01 ~]# yum install ipset ipvsadmin -y

# 2、添加需要加载的模块写入脚本文件
[root@k8s-master01 ~]# cat < /etc/sysconfig/modules/ipvs.modules
#!/bin/bash
modprobe -- ip_vs
modprobe -- ip_vs_rr
modprobe -- ip_vs_wrr
modprobe -- ip_vs_sh
modprobe -- nf_conntrack_ipv4
EOF

# 3、为脚本文件添加执行权限
[root@k8s-master01 ~]# chmod +x /etc/sysconfig/modules/ipvs.modules

# 4、执行脚本文件
[root@k8s-master01 ~]# /bin/bash /etc/sysconfig/modules/ipvs.modules

# 5、查看对应的模块是否加载成功
[root@k8s-master01 ~]# lsmod |grep -e ip_vs -e nf_conntrack_ipv4

(9) 重启服务器

上面步骤完成之后，需重启linux服务器

[root@k8s-master01 ~]# reboot

2.2.3 安装docker

# 1、切换镜像源
[root@k8s-node01 ~]# wget https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo -O /etc/yum.repos.d/docker-ce.repo

# 2、查看当前镜像源中支持的docker版本
[root@k8s-node01 ~]# yum list docker-ce --showduplicates

# 3、安装特定版本的docker-ce
# 必须指定 --setopt=obsoletes=0, 否则yum会自动安装更高版本
[root@k8s-node01 ~]# yum install --setopt=obsoletes=0 docker-ce-18.06.3.ce-3.el7 -y

# 4、添加一个配置文件
# Docker在默认情况下使用的Cgroup Driver为cgroupfs，而kubernetes推荐使用systemd来替代cgroupfs.
[root@k8s-node01 ~]# mkdir /etc/docker/daemon.json
{
"exec-opts": ["native.cgroupdriver=systemd"],
"registry-mirrors": ["https://bhu1x6ya.mirror.aliyuncs.com"]
}
EOF

# 5、启动docker、并设置开机启动
[root@k8s-node01 ~]# systemctl restart docker

# 6、检查docker状态和版本
[root@k8s-node01 ~]# docker version

2.2.4 安装kubernetes组件

# 由于kubenetes的镜像源在国外，速度比较慢，这里切换成国内的镜像源
# 编辑 /etc/yum.repos.d/kubernetes.repo，添加下面的配置
[kubernetes]
name=Kubernetes
baseurl=http://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgchech=0
repo_gpgcheck=0
gpgkey=http://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg
       http://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg

# 安装kubeadm、kubelet和kubectl
[root@k8s-master01 ~]# yum install --setopt=obsoletes=0 kubeadm-1.17.4-0 kubelet-1.17.4-0 kubectl-1.17.4-0 -y

# 配置kubelet的cgroup
# 编辑 /etc/sysconfig/kubelet，添加下面的配置
KUBELET_CGROUP_ARGS="--cgroup-driver=systemd"
KUBE_PROXY_MODE="ipvs"

# 设置kubelet 开机自启
[root@k8s-master01 ~]# systemctl enable kubelet

2.2.5 准备集群镜像

# 在安装kubernetes集群之前，必须要提前准备好集群需要的镜像，所需镜像可以通过下面命令查看
[root@k8s-master01 ~]# kubeadm config images list

# 下载镜像
# 此镜像在kubernetes的仓库中，由于网络原因，无法连接，下面提供了一种替代方案

images=(
  kube-apiserver:v1.17.4
  kube-controller-manager:v1.17.4
  kube-scheduler:v1.17.4
  kube-proxy:v1.17.4
  pause:3.1
  etcd:3.4.3-0
  coredns:1.6.5
)

for imageName in ${images[@]}; do
     docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/$imageName
     docker tag registry.cn-hangzhou.aliyuncs.com/google_containers/$imageName k8s.gcr.io/$imageName
     docker rmi registry.cn-hangzhou.aliyuncs.com/google_containers/$imageName
done

下载完成后如下图：

2.2.6 集群初始化

下面开始对集群进行初始化，并将node节点加入到集群中。

下面的操作只需在master节点上操作。

[root@k8s-master01 ~]# kubeadm init \
    --kubernetes-version=v1.17.4 \
    --pod-network-cidr=10.244.0.0/16 \
    --service-cidr=10.96.0.0/12 \
    --apiserver-advertise-address=192.168.166.111

# 创建必要文件
[root@k8s-master01 ~]# mkdir -p $HOME/.kube
[root@k8s-master01 ~]# cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
[root@k8s-master01 ~]# chown $(id -u):$(id -g) $HOME/.kube/config

下面的操作只需在node节点上操作。

# 将node节点加入到集群中
[root@k8s-node01 ~]# kubeadm join 192.168.166.111:6443 --token ke6low.t57x5lcgfs3mv3s2 \
    --discovery-token-ca-cert-hash sha256:8e8a425856325997b7f4d2370d6f0e0d49304641a9115e79a74adb524ec607f3

此时通过kubectl get nodes查看节点状态，发现 STATUS 处显示为 NotReady状态。表示节点之间网络还不通，需要安装网络插件。

2.2.7 安装网络插件

kubenetes支持多种网络插件，比如flannel、calico、canal等等，任选一种使用即可，本次选择flannel.

以下操作依旧只在master节点执行即可，插件使用的是DaemonSet的控制器，它会在每个节点上运行。

# 获取fannel的配置文件
[root@k8s-master01 ~]# wget 
https://raw.githubusercontent.com/flannel-io/flannel/master/Documentation/kube-flannel.yml

# 修改文件中 quay.io 参控股为 quay-mirror.qiniu.com

# 使用配置文件启动 fannel
[root@k8s-master01 ~]# kubectl apply -f kube-flannel.yml

# 稍等片刻，再次查看集群节点的状态
[root@k8s-master01 ~]# kubectl get nodes
NAME           STATUS   ROLES    AGE   VERSION
k8s-master01   Ready    master   15m   v1.17.4
k8s-node01     Ready       13m   v1.17.4
k8s-node02     Ready       12m   v1.17.4

至此，kubernetes的集群环境搭建完成。

2.3 部署服务

接下来在kubernetes集群中部署一个Nginx服务，测试下集群是否正常工作。

# 部署nginx
[root@k8s-master01 ~]# kubectl create deployment nginx --image=nginx:1.21-alpine

# 暴露端口
[root@k8s-master01 ~]# kubectl expose deployment nginx --port=80 --type=NodePort

# 查看服务状态
[root@k8s-master01 ~]# kubectl get pods,services
NAME                         READY   STATUS    RESTARTS   AGE
pod/nginx-655cb49fc5-j9m4d   1/1     Running   0          3m13s

NAME                 TYPE        CLUSTER-IP      EXTERNAL-IP   PORT(S)        AGE
service/kubernetes   ClusterIP   10.96.0.1               443/TCP        10h
service/nginx        NodePort    10.99.210.176           80:32203/TCP   2m14s

#  最后在浏览器上访问部署的nginx服务

3、资源管理

本章节主要介绍yaml语法和kubernetes的资源管理方式。

3.1 资源管理介绍

在kubernetes中，所有的内容都抽象为资源，用户需要通过操作资源来管理kubernetes。

kubernetes本质上就是一个集群系统，用户可以在集群中部署各种服务，所谓的部署服务，其实就是在kubernetes集群中运行一个个的容器，并将指定的程序跑在容器中。
 
kubernetes的最小管理单元是pod，而不是容器。所以只能将容器放在Pod中，而kubernetes一般也不会直接管理Pod，而是通过Pod控制器 来管理Pod。
 
Pod提供服务之后，就要考虑如何访问Pod中的服务，kubernetes提供了Service资源实现这个功能。另外，如果Pod中程序的数据需要持久化，kubernetes还提供了各种存储系统。
 
学习kubernetes的核心，就是学习如何对集群上的Pod、Pod控制器、Service、存储等各种资源进行操作。

---

3.2 yaml语言介绍

YAML是一个类似XML、JSON的标记性语言。它强调以数据为中心，并不是以标识语言为重点。因而YAML本身的定义比较简单，号称"一种人性化的数据格式语言"。

xml 示例

<person>
    <age>15age>
    <address>Beijingaddress>
person>

yaml 示例

person:
  age: 15
  address: Beijing

YAML的语法比较简单，主要有以下几个：

• 大小写敏感；
• 使用缩进标识层级关系；
• 缩进不允许使用tab，只允许空格；
• 缩进的空格数不重要，只要相同层级的元素左对齐即可；
• # 表示注释。

YAML支持以下几种数据类型：

• 纯量：单个的、不可再分的值；
• 对象：键值对的集合，又称为映射（mapping）/ 哈希（hash）/ 字典（dictionary）
• 数组：一组按次序排列的值，又称为序列（sequence）/ 列表（list）

Tips:
(1) 书写yaml切记：后面要加一个空格；
(2) 如果需要将多段yaml配置放在一个文件中，中间要使用 ---分割

 
分享一个json和yaml的对比、互相转换的网站，可用来验证yaml的书写是否正确：
http://json2yaml.com/convert-yaml-to-json

3.3 资源管理方式

• 命令式对象管理：直接使用命令去操作kubernetes资源

kubectl run nginx-pod --image=nginx:1.17.1 --port=80

• 命令式对象配置：通过命令配置和配置文件去操作kubernetes资源

kubectl create/patch -f nginx-pod.yaml

• 声明式对象配置：通过apply命令和配置文件去操作kubernetes资源

kubectl apply -f nginx-pod.yaml

3.3.1 命令式对象管理

kubectl命令

kubectl是kubernetes集群的命令行工具，通过它能够对集群本身进行管理，并能够在集群上进行容器化应用的安装部署。kubectl命令的语法如下：

kubectl [command] [type] [name] [flags]

• command：指定要对资源执行的操作，如create、get、delete
• type：指定资源类型，比如deployment、pod、service
• name：指定资源的名称，名称大小写敏感
• flags：指定额外的可选参数

# 查看所有的pod
kubectl get pod

# 查看某个pod
kubectl get pod pod_name

# 查看某个pod，并以yaml格式展示结果
kubectl get pod pod_name -o yaml

资源类型

kubernetes中所有的内容都抽象为资源，可通过下面的命令进行查看：

kubectl api-resources

经常使用的有如下这些：

操作
kubernetes允许对资源进行多种操作，可以通过--help查看详细的操作命令。

kubectl --help

经常使用的操作有如下这些：


下面以一个namespace / pod 的创建和删除简单演示下命令的使用：

# 创建一个namespace
[root@k8s-master01 ~]# kubectl create namespace dev
namespace/dev created

# 获取namespace
[root@k8s-master01 ~]# kubectl get namespaces
NAME              STATUS   AGE
default           Active   16h
dev               Active   3s
kube-node-lease   Active   16h
kube-public       Active   16h
kube-system       Active   16h

# 在此namespace下创建并运行一个nginx的Pod
[root@k8s-master01 ~]# kubectl run pod --image=nginx --namespace=dev
kubectl run --generator=deployment/apps.v1 is DEPRECATED and will be removed in a future version. Use kubectl run --generator=run-pod/v1 or kubectl create instead.
deployment.apps/pod created

# 查看新创建的Pod
[root@k8s-master01 ~]# kubectl get pods --namespace=dev
NAME                   READY   STATUS    RESTARTS   AGE
pod-864f9875b9-b489g   1/1     Running   0          5m59s

# 删除指定的Pod
[root@k8s-master01 ~]# kubectl delete pod pod-864f9875b9-b489g --namespace=dev
pod "pod-864f9875b9-b489g" deleted

3.3.2 命令式对象配置

命令式对象配置就是使用命令配置配置文件一起来操作kubernetes资源。

(1) 创建一个nginxpod.yaml，内容如下：

apiVersion: v1
kind: Namespace
metadata: 
  name: dev

---

apiVersion: v1
kind: Pod
metadata:
  name: nginxpod
  namespace: dev
spec:
  containers:
  - name: nginx-containers
  - image: nginx:1.17.1

(2) 执行create命令，创建资源

[root@k8s-master01 ~]# kubectl create -f nginxpod.yml
namespace/dev created
pod/nginxpod created

此时发现创建了两个资源对象，分别是namespace和pod.

(3) 执行get命令，查看资源：

[root@k8s-master01 ~]# kubectl get -f nginxpod.yml
NAME            STATUS   AGE
namespace/dev   Active   82m

NAME           READY   STATUS    RESTARTS   AGE
pod/nginxpod   1/1     Running   1          82m

这样就显示了两个资源对象的信息。

(4) 执行delege命令，删除资源：

[root@k8s-master01 ~]# kubectl delete -f nginxpod.yml
namespace "dev" deleted
pod "nginxpod" deleted

此时发现两个资源对象被删除了。

总结：命令式对象配置的方式操作资源，可以简单的认为是：命令 + yaml配置文件（里面是命令需要的各种参数）

3.3.3 声明式对象配置

声明式对象配置跟命令式对象配置很相似，但它只有一个命令：apply。

# 首先执行一次kubectl apply -f ，发现创建了资源
[root@k8s-master01 ~]# kubectl apply -f nginxpod.yml
namespace/dev created
pod/nginxpod created

# 再次执行一次kubectl apply -f yaml文件，发现说资源没有变动。
[root@k8s-master01 ~]# kubectl apply -f nginxpod.yml
namespace/dev unchanged
pod/nginxpod unchanged

总结：
其实声明式对象配置就是使用apply描述一个资源的最终状态（在yaml中定义状态）
使用apply操作资源：

• 如果资源不存在，就创建，相当于 kubectl create；
• 如果资源已存在，就更新， 相当于 kubectl patch。

扩展：kubectl可以在node节点上运行吗？

kubectl的运行时需要进行配置的，它的配置文件是$HOME/.kube，如果想要在node节点运行此命令，需要将master节点上的.kube文件复制到node节点上，即在master节点上执行以下操作：

scp -r HOME/.kube node1:$HOME/

3.3.4 使用推荐

使用推荐： 三种方式应该怎么用？

• 创建/更新资源：使用声明式对象配置（kubectl apply -f xxx.yaml）
• 删除资源：使用命令式对象配置（kubectl delete -f xxx.yaml）
• 查询资源：使用命令式对象管理（kubectl get(describe) <资源名称>）

4、实战入门

4.1 Namespace

Namespace是kubernetes系统中的一种非常重要的资源，它的主要作用是用来实现多套环境的资源隔离或者租户的资源隔离。

默认情况下，kubernetes集群中的所有的Pod都是可以相互访问的。但在实际中，可能不想让两个Pod之间进行互相访问，那此时就可以将两个Pod划分到不同的namespace下。kubernetes通过将集群内部的资源分配到不同的Namespace中，可以形成逻辑上的"组"，以方便不同的组的资源进行隔离使用和管理。

可以通过kubernetes的授权机制，将不同的namespace交给不同租户进行管理，这样就实现了多租户的资源隔离。此时还能结合kubernetes的资源配额机制，限定不同租户能占用的资源，例如CPU使用量、内存使用量等等，来实现租户可用资源的管理。

kubernetes在集群启动之后，会默认创建几个namespace.

下面来看namespace资源的具体操作。

查看

# 1、查看所有的namespace，命令：kubectl get ns/namespaces
[root@k8s-master01 ~]# kubectl get namespaces
NAME              STATUS   AGE
default           Active   23h
kube-node-lease   Active   23h
kube-public       Active   23h
kube-system       Active   23h

# 2、查看指定的namespace，命令：kubectl get namespace 
[root@k8s-master01 ~]# kubectl get namespace default
NAME      STATUS   AGE
default   Active   23h

# 3、指定输出格式  命令：kubectl get ns  -o 格式参数
# kubernetes支持的格式很多，常见的是wide、json、yaml
[root@k8s-master01 ~]# kubectl get namespaces -o yaml
apiVersion: v1
items:
- apiVersion: v1
  kind: Namespace
  metadata:
    creationTimestamp: "2022-03-11T14:18:39Z"
    name: default
    resourceVersion: "146"
    selfLink: /api/v1/namespaces/default
    uid: 57dddb3d-7645-4be1-878f-afc7b4486f4e
  spec:
    finalizers:
    - kubernetes
  status:
    phase: Active
 ...

# 4、查看ns详情   命令：kubectl describe ns ns名称
[root@k8s-master01 ~]# kubectl describe namespaces default
Name:         default
Labels:       
Annotations:  
Status:       Active   # Active：命名空间正在使用。Terminating 正在删除命名空间

# ResourceQuota：针对namespace做的资源限制
# LimitRange：针对namespace中的每个组件做的资源限制
No resource quota.
No LimitRange resource.

创建

# 创建namespace
[root@k8s-master01 ~]# kubectl create ns dev
namespace/dev created

删除

# 删除namespace
[root@k8s-master01 ~]# kubectl delete ns dev
namespace "dev" deleted

配置方式
首先准备一个yaml文件：ns-dev.yaml

apiVersion: v1
kind: Namespace
metadata:
    name: dev

然后就可以执行对应的创建和删除命令了：
创建：kubectl create -f ns-dev.yaml
删除：kubectl delete -f ns-dev.yaml

4.2 Pod

Pod是kubernetes集群进行管理的最小单元，程序要运行必须部署在容器中，而容器必须存在于Pod中。Pod可以认为是容器的封装，一个Pod中可以存在一个或多个容器。

[root@k8s-master01 ~]# kubectl get pod -n kube-system
NAME                                   READY   STATUS    RESTARTS   AGE
coredns-6955765f44-4pwjb               1/1     Running   1          24h
coredns-6955765f44-h2vpk               1/1     Running   1          24h
etcd-k8s-master01                      1/1     Running   2          24h
kube-apiserver-k8s-master01            1/1     Running   2          24h
kube-controller-manager-k8s-master01   1/1     Running   2          24h
kube-flannel-ds-7xx6d                  1/1     Running   1          14h
kube-flannel-ds-cmmv9                  1/1     Running   1          14h
kube-flannel-ds-vh55n                  1/1     Running   1          14h
kube-proxy-f9hmd                       1/1     Running   2          24h
kube-proxy-qqnlw                       1/1     Running   2          24h
kube-proxy-vd7dx                       1/1     Running   2          24h
kube-scheduler-k8s-master01            1/1     Running   2          24h

创建并运行

kubernetes没有提供单独运行Pod命令，都是通过Pod控制器来实现的。

# 命令格式：kubectl run  [参数]
# --image 指定Pod的镜像
# --port  指定端口
# --namespace  指定namespace
[root@k8s-master01 ~]# kubectl run nginx --image=nginx:1.17.1 --port=80 --namespace dev
deployment.apps/nginx created

查看pod信息

# 查看Pod基本信息
[root@k8s-master01 ~]# kubectl get pod -n dev
NAME                      READY   STATUS    RESTARTS   AGE
nginx17-96944c7cd-945rx   1/1     Running   0          15m

# 查看Pod的详细信息
[root@k8s-master01 ~]# kubectl describe pod nginx17-96944c7cd-945rx -n dev
Name:         nginx17-96944c7cd-945rx
Namespace:    dev
Priority:     0
Node:         k8s-node02/192.168.166.113
Start Time:   Sat, 12 Mar 2022 10:02:54 -0500
Labels:       pod-template-hash=96944c7cd
              run=nginx17
Annotations:  
Status:       Running
IP:           10.244.2.7
IPs:
  IP:           10.244.2.7
Controlled By:  ReplicaSet/nginx17-96944c7cd
Containers:
  nginx17:
    Container ID:   docker://c08ddb4bff649ac2cdc190117841e78bc737cbec9074d04d88a0060ee98b13dc
    Image:          nginx:1.17.1
    Image ID:       docker-pullable://nginx@sha256:b4b9b3eee194703fc2fa8afa5b7510c77ae70cfba567af1376a573a967c03dbb
    Port:           80/TCP
    Host Port:      0/TCP
    State:          Running
      Started:      Sat, 12 Mar 2022 10:02:55 -0500
    Ready:          True
    Restart Count:  0
    Environment:    
    Mounts:
      /var/run/secrets/kubernetes.io/serviceaccount from default-token-mkgg5 (ro)
Conditions:
  Type              Status
  Initialized       True
  Ready             True
  ContainersReady   True
  PodScheduled      True
Volumes:
  default-token-mkgg5:
    Type:        Secret (a volume populated by a Secret)
    SecretName:  default-token-mkgg5
    Optional:    false
QoS Class:       BestEffort
Node-Selectors:  
Tolerations:     node.kubernetes.io/not-ready:NoExecute for 300s
                 node.kubernetes.io/unreachable:NoExecute for 300s
Events:
  Type    Reason     Age   From                 Message
  ----    ------     ----  ----                 -------
  Normal  Scheduled  16m   default-scheduler    Successfully assigned dev/nginx17-96944c7cd-945rx to k8s-node02
  Normal  Pulled     16m   kubelet, k8s-node02  Container image "nginx:1.17.1" already present on machine
  Normal  Created    16m   kubelet, k8s-node02  Created container nginx17
  Normal  Started    16m   kubelet, k8s-node02  Started container nginx17

访问Pod

# 获取pod IP
[root@k8s-master01 ~]# kubectl get pod -n dev -o wide
NAME                      READY   STATUS    RESTARTS   AGE   IP           NODE         NOMINATED NODE   READINESS GATES
nginx17-96944c7cd-945rx   1/1     Running   0          17m   10.244.2.7   k8s-node02              

# 访问pod
[root@k8s-master01 ~]# curl http://10.244.2.7







Welcome to nginx!
If you see this page, the nginx web server is successfully installed and
working. Further configuration is required.

For online documentation and support please refer to
nginx.org.

Commercial support is available at
nginx.com.

Thank you for using nginx.

删除指定Pod

# 删除指定Pod
[root@k8s-master01 ~]# kubectl delete pod nginx17-96944c7cd-945rx -n dev
pod "nginx17-96944c7cd-945rx" deleted

# 此时，显示删除指定Pod成功，但再次查询，发现又新生成了一个
[root@k8s-master01 ~]# kubectl get pod -n dev
NAME                      READY   STATUS    RESTARTS   AGE
nginx17-96944c7cd-k5hgm   1/1     Running   0          12s

# 这是因为当前Pod是由Pod控制器创建的，控制器会监控Pod，一旦发现Pod私网，会立即重建.
# 此时要想删除Pod，必须删除Pod控制器.

# 先来查询一下当前namespace下的Pod控制器
[root@k8s-master01 ~]# kubectl get deployments.apps  -n dev
NAME      READY   UP-TO-DATE   AVAILABLE   AGE
nginx17   1/1     1            1           21m

# 接下来，删除此Pod控制器
[root@k8s-master01 ~]# kubectl delete deployments.apps -n dev nginx17
deployment.apps "nginx17" deleted

# 稍等片刻，再查询Pod，发现Pod被删除了.
[root@k8s-master01 ~]# kubectl get pod -n dev
No resources found in dev namespace.

配置操作
创建一个pod-nginx.yaml，内容如下：

apiVersion: v1
kind: Pod
metadata:
  name: nginx
  namespace: dev
spec: 
  containers:
  - image: nginx:1.17.1
     imagePullPolicy: IfNotPresent
     name: pod
     ports:
       - name: nginx-port
         containerPort: 80
         protocol: TCP

然后就可以执行对应的创建和删除命令了：
创建：kubectl create -f pod-nginx.yaml
删除：kubectl delete -f pod-nginx.yaml

4.3 Label

Label是kubernetes系统中的一个重要概念。它的作用就是在资源上添加标识，用来对它们进行区分和选择。

Label的特点：

• 一个Label会以key/value键值对的形式附加到各种对象上，如Node、Pod、Service等等。
• 一个资源对象可以定义任意数量的Label，同一个Label也可以被添加到任意数量的资源对象上去。
• Label通常在资源对象定义时确定，当然也可以在对象创建后动态添加或删除。

可以通过Label实现资源的多维度分组，以便灵活、方便地进行资源分配、调度、配置、部署等管理工作。

一些常用的Label示例如下：

• 版本标签：“version”:“release”, “version”:“stable”…
• 环境标签：“environment”:“dev”, “environment”:“test”, “environment”:“pro”
• 架构标签：“tier”:“frontend”, “tier”:“backend”.

标签定义完毕之后，还要考虑到标签的选择，这就要使用到Label Selector，即：

• Label用于给某个资源对象定义标识；
• Label Selector用于查询和筛选拥有某些标签的资源对象。

当前有两种Label Selector：

• 基于等式的Label Selector
  name = slave：选择所有包含Label中key="name"且value="slave"的对象；
  env != production：选择所有包括Label中的key="env"且value不等于"production"的对象。

• 基于集合的Label Selector
  name in (master, slave)：选择所有包含Label中的key="name"且value="master"或"slave"的对象；
  name not in (frontend)：选择所有包含Label中的key="name"且value不等于"frontend"的对象。

  标签的选择条件可以使用多个，此时将多个Label Selector进行组合，使用逗号","进行分隔即可。例如：
  name=slave, env!=production
  name not in (frontend), env!=production

命令方式

# 为pod资源打标签
[root@k8s-master01 ~]# kubectl label pod nginx-pod version=1.0 -n dev
pod/nginx-pod labeled

# 为pod资源更新标签
[root@k8s-master01 ~]# kubectl label pod nginx-pod version=2.0 -n dev --overwrite
pod/nginx-pod labeled

# 查看标签
[root@k8s-master01 ~]# kubectl get pod nginx-pod -n dev --show-labels
NAME        READY   STATUS    RESTARTS   AGE     LABELS
nginx-pod   1/1     Running   0          4m21s   version=2.0

# 筛选标签
[root@k8s-master01 ~]# kubectl get pod  -l version=2.0   -n dev --show-labels
NAME        READY   STATUS    RESTARTS   AGE     LABELS
nginx-pod   1/1     Running   0          6m43s   version=2.0

[root@k8s-master01 ~]# kubectl get pod  -l version!=2.0   -n dev --show-labels
No resources found in dev namespace.

# 删除标签
[root@k8s-master01 ~]# kubectl label pod nginx-pod version- -n dev
pod/nginx-pod labeled
[root@k8s-master01 ~]#
[root@k8s-master01 ~]# kubectl get pod nginx-pod --show-labels -n dev
NAME        READY   STATUS    RESTARTS   AGE     LABELS
nginx-pod   1/1     Running   0          8m32s   

配置方式

apiVersion: v1
kind: Pod
metadata:
  name: nginx
  namespace: dev
  labels:
    version: "3.0"
    env: "test"
spec:
  containers:
  - image: nginx:1.17.1
    name: pod
    ports:
    - name: nginx-port
      containerPort: 80
      protocol: TCP

然后就可以执行对应的更新命令了：kubectl apply -f pod-nginx.yml

4.4 Deployment

在kubernetes中，Pod是最小的控制单元，但kubernetes很少直接控制Pod，一般都是通过Pod控制器来完成的。Pod控制器用于pod的管理，确保pod资源符合预期的状态，当pod的资源出现故障时，会尝试进行重启或重建Pod。

在kubernetes中Pod控制器的种类有很多，本章只介绍一种：Deployment.

命令操作

# 命令格式：kubectl run  [参数]
# --image 指定pod的镜像
# --port  指定端口
# --replicas  指定创建pod数量
# --namespace 指定namespace
[root@k8s-master01 ~]# kubectl run nginx --image=nginx:1.17.1 --port=80 --replicas=3 -n dev
kubectl run --generator=deployment/apps.v1 is DEPRECATED and will be removed in a future version. Use kubectl run --generator=run-pod/v1 or kubectl create instead.
deployment.apps/nginx created

# 查看创建的pod
[root@k8s-master01 ~]# kubectl get pod -n dev
NAME                     READY   STATUS    RESTARTS   AGE
nginx-64777cd554-fbcdr   1/1     Running   0          2m20s
nginx-64777cd554-kmm6t   1/1     Running   0          2m20s
nginx-64777cd554-mv27v   1/1     Running   0          2m20s

# 查看deployment的信息
[root@k8s-master01 ~]# kubectl get deployments.apps -n dev
NAME    READY   UP-TO-DATE   AVAILABLE   AGE
nginx   3/3     3            3           4m42s

# UP-TO-DATE：成功升级的副本数量
# AVALIABLE: 可用副本的数量
[root@k8s-master01 ~]# kubectl get deployments.apps -n dev -o wide
NAME    READY   UP-TO-DATE   AVAILABLE   AGE     CONTAINERS   IMAGES         SELECTOR
nginx   3/3     3            3           5m50s   nginx        nginx:1.17.1   run=nginx

# 查看deployment的详细信息
[root@k8s-master01 ~]# kubectl describe deployments.apps nginx -n dev
Name:                   nginx
Namespace:              dev
CreationTimestamp:      Sat, 12 Mar 2022 22:30:44 -0500
Labels:                 run=nginx
Annotations:            deployment.kubernetes.io/revision: 1
Selector:               run=nginx
Replicas:               3 desired | 3 updated | 3 total | 3 available | 0 unavailable
StrategyType:           RollingUpdate
MinReadySeconds:        0
RollingUpdateStrategy:  25% max unavailable, 25% max surge
Pod Template:
  Labels:  run=nginx
  Containers:
   nginx:
    Image:        nginx:1.17.1
    Port:         80/TCP
    Host Port:    0/TCP
    Environment:  
    Mounts:       
  Volumes:        
Conditions:
  Type           Status  Reason
  ----           ------  ------
  Available      True    MinimumReplicasAvailable
  Progressing    True    NewReplicaSetAvailable
OldReplicaSets:  
NewReplicaSet:   nginx-64777cd554 (3/3 replicas created)
Events:
  Type    Reason             Age    From                   Message
  ----    ------             ----   ----                   -------
  Normal  ScalingReplicaSet  6m58s  deployment-controller  Scaled up replica set nginx-64777cd554 to 3

# 删除deployment
[root@k8s-master01 ~]# kubectl delete deployments.apps nginx -n dev
deployment.apps "nginx" deleted

配置操作

创建一个deploy-nginx.yaml，内容如下：

apiVersion: apps/v1
kind: Deployment
metadata:
  name: nginx
  namespace: dev
spec:
  replicas: 3
  selector:
    matchLabels:
      run: nginx
  template:
    metadata:
      labels:
        run: nginx
    spec:
      containers:
      - image: nginx:1.21.5
        name: nginx
        ports:
        - containerPort: 80
          protocol: TCP

然后，就可以执行对应的创建和删除命令了：
创建：kubectl create -f deploy-nginx.yml
删除：kubectl delete -f deploy-nginx.yml

4.5 Service

通过上一节的学习，已经能够利用Deployment 来创建一组Pod来提供具有高可用性的服务。
虽然每个Pod都会分配一个单独的Pod IP，然而却存在如下两个问题：

• Pod IP会随着Pod的重建产生变化；
• Pod IP仅仅是集群内可见的虚拟IP，外部无法访问。

这样对于访问这个服务带来了难度。因此，kubernetes设计了Service来解决这个问题。

Service可以看作是一组同类Pod对外的访问接口。借助Service，应用可以方便地实现服务发现和负载均衡。

操作一：创建集群内部可访问的Service

# 暴露Service
[root@k8s-master01 ~]# kubectl expose deployment nginx --name=svc-nginx1 --type=ClusterIP --port=80 --target-port=80 -n dev
service/svc-nginx1 exposed

# 查看service
[root@k8s-master01 ~]# kubectl get service svc-nginx1 -n dev -o wide
NAME         TYPE        CLUSTER-IP       EXTERNAL-IP   PORT(S)   AGE   SELECTOR
svc-nginx1   ClusterIP   10.100.224.218           80/TCP    54s   run=nginx

# 这里产生了一个CLUSTER-IP，这就是service的IP，在service的生命周期中，这个地址是不会变动的
# 可以通过这个IP访问当前service对应的Pod
[root@k8s-master01 ~]# curl http://10.100.224.218








Welcome to nginx!
If you see this page, the nginx web server is successfully installed and
working. Further configuration is required.
...

操作二：创建集群外部可访问的Service

# 上面创建的Service的type类型为ClusterIP，这个IP地址只能集群内部访问;
# 如果需要创建外部也可以访问的Service，需要修改type为NodePort
[root@k8s-master01 ~]# kubectl expose deployment nginx --name=svc-nginx2 --type=NodePort  --port=80 --target-port=80 -n dev
service/svc-nginx2 exposed

# 此时查看，会发现出现了NodePort类型的service, 而且又一对Port（80:31529/TCP）
[root@k8s-master01 ~]# kubectl get service svc-nginx2 -n dev -o wide
NAME         TYPE       CLUSTER-IP      EXTERNAL-IP   PORT(S)        AGE   SELECTOR
svc-nginx2   NodePort   10.106.124.15           80:31529/TCP   35s   run=nginx

# 接下来就可以通过集群外的主机访问 `节点IP:31529` 来访问服务了。
# 例如在电脑主机上通过浏览器访问  http://192.168.166.113:31529

删除Service

[root@k8s-master01 ~]# kubectl delete service svc-nginx1 -n dev
service "svc-nginx1" deleted

配置方式
创建一个svc-nginx.yml，内容如下：

apiVersion: v1
kind: Service
metadata:
  name: svc-nginx1
  namespace: dev
spec:
  clusterIP: 10.100.224.219
  ports:
  - port: 80
    protocol: TCP
    targetPort: 80
  selector:
    run: nginx
  type: ClusterIP

然后就可以执行对应的创建和删除操作了：
创建：kubectl create -f svc-nginx.yml
删除：kubectl delete -f svc-nginx.yml

小结
至此，已经掌握了Namespace、Pod、Deployment、Service资源的基本操作，有了这些操作，就可以在Kubernetes集群中实现一个服务的简单部署和访问了。但如果想要更好的使用kubernetes，就需要深入学习这几种资源的细节和原理。

5、Pod详解

本章将详细介绍Pod资源的各种配置（yaml）和原理。

5.1 Pod介绍

5.1.1 Pod结构

每个Pod中都可以包含一个或多个容器，这些容器可以分为两类：

• 用户程序所在的容器，数量可多可少；
• Pause容器，这是每个Pod都会有的一个根容器，它的作用有两个：
  （1）可以以它为依据，评估整个Pod的健康状态；
  （2）可以在根容器上设置IP地址，其它容器都此IP（Pod IP），以实现Pod内部的网络通信

  这里是Pod内部的通讯，Pod之间的通讯采用虚拟二层网络技术来实现，我们当前环境用的是Flannel.

5.1.2 Pod定义

下面是Pod的资源清单：

apiVersion: v1	#必选，版本号，例如v1
kind: Pod		#必选，资源类型，例如Pod
metadata:		#必选，元数据
  name: string	#必选，Pod名称
  namespace: string	#Pod所述的命名空间，默认为"default"
  labels:		#自定义标签列表
    - name: string
spec:			#必选，Pod中容器的详细定义
	containers:	#必选, Pod中容器列表
	- name: string	#必选，容器名称
	  image: string	#必选，容器的镜像名称
	  imagePullPolicy: [Always|Never|IfNotPresent]	#获取镜像的策略
	  command: [string]	#容器的启动命令列表，如不指定，使用打包时使用的启动命令
	  args: [string]	#容器的启动命令参数列表
	  workingDir: string	#容器的工作目录
	  volumeMounts:		#挂载到容器内部的存储卷配置
	  - name: string	#引用pod定义的共享存储卷的名称，需用volumes[]部分定义的卷名
	    mountPath: string	#存储卷在容器内mount的绝对路径，应少于512字符
	    readOnly: boolean	#是否为只读模式
	  ports:	#需要暴露的端口号列表
	  - name: string	#端口的名称
	    containerPort: int	#容器需要监听的端口号
	    hostPort: int		#容器所在主机需要监听的端口号，默认与Container相同
	    protocol: string	#端口协议，支持TCP和UDP，默认TCP
	  env: 		#容器运行前需设置的环境变量列表
	  - name: string		#环境变量名称
	    value: string		#环境变量的值
	  resources: 		#资源限制和请求的设置
	    limits:			#资源限制的设置
	      cpu: string	#CPU的限制，单位为core数，将用于docker run --cpu-shares参数
	      memory: string   #内存限制，单位可以为Mib/Gib，将用于docker run --memory参数
	    requests:	#资源请求的设置
	      cpu: string		#cpu请求，容器启动的初始可用数量
	      memory: string	#内存请求，容器启动的初始可用数量
	  lifecycle:	#声明周期钩子
	    postStart:	#容器启动后立即执行此钩子，如果执行失败，会根据重启策略进行重启
	    preStop:		#容器终止前执行此钩子，无论结果如何，容器都会终止
	  livenessProbe:	#对Pod内各容器健康检查的设置，当探测无响应几次后将自动重启该容器
	    exec:		#对Pod内各容器健康检查的设置，当探测无响应几次后将自动重启该容器
	      command: [string]		#exec方式需要制定的命令或脚本
	    httpGet:	#对Pod内各容器健康检查方法设置为HttpGet，需要制定Path、port
	      path: string
	      port: number
	      host: string
	      scheme: string
	      HttpHeaders:
	      - name: string
	        value: string
	    tcpSocket:		#对Pod内各容器健康检查方式设置为tcpSocket方式
	      port: number
	    initialDelaySeconds: 0	#容器启动完成后首次探测的时间，单位为秒
	    timeoutSeconds: 0		#对容器健康检查探测等待响应的超时时间，单位秒，默认1秒
	    periodSeconds: 0		#对容器监控检查的定期探测时间设置，单位秒，默认10秒/次
	    successThreshold: 0
	    failureThreshold: 0
	    securityContext:
	      privileged: false
	restartPolicy: [Always|Never|OnFailure]	#Pod的重启策略
	nodeName: >	#设置NodeName表示将该Pod调度到指定名称的node节点上
	nodeSelector: object	#设置NodeSelector表示将该Pod调度到包含这个label的node上
	imagePullSecrets:	#Pull镜像时使用的secret名称，以key: secretkey格式指定
	- name: string
	hostNetwork: false	#是否使用主机网络模式，默认false，如果设置true,表示使用宿主机网络
	volumes:	#在该pod上定义共享存储卷列表
	- name: string	#共享存储卷名称（volumes类型有很多种）
	  emptyDir: {}	#类型为emptyDir的存储卷，与Pod同生命周期的一个临时目录，为空值
	  hostPath: string	#类型为hostPath的存储卷，表示挂载Pod苏偶在宿主机的目录
	    path: string	#Pod所在宿主机的目录，将被用于同期中mount的目录

Tips:
可通过一个命令来查看每种资源的可配置项：

• kubectl explain <资源类型> //查看某种资源可配置的一级属性
• kubectl explain <资源类型.属性> //查看属性的子属性

[root@k8s-master01 ~]# kubectl explain pod
KIND:     Pod
VERSION:  v1

DESCRIPTION:
     Pod is a collection of containers that can run on a host. This resource is
     created by clients and scheduled onto hosts.

FIELDS:
   apiVersion	
     APIVersion defines the versioned schema of this representation of an
     object. Servers should convert recognized schemas to the latest internal
     value, and may reject unrecognized values. More info:

   kind	
     Kind is a string value representing the REST resource this object
     represents. Servers may infer this from the endpoint the client submits
     requests to. Cannot be updated. In CamelCase. More info:

   metadata