Kubernetes基本存储

Kubernetes基本存储

容器的生命周期可能很短，会被频繁地创建和销毁，容器销毁时，保存在容器中的数据也会被清除。为了持久化保存容器中数据，引入Volume概念。

Volume时Pod中多个容器共同访问的共享目录，它被定义在Pod中，被一个Pod里的多个容器挂载到具体的文件目录下，k8s通过Volume实现同一个Pod中不同容器之间的数据共享以及数据的持久化存储。当容器终止或重启时，Volume中数据也不会丢失。

类似于Docker中数据卷的概念，有兴趣的同学可以通过这篇文章了解下。

​ Docker环境/命令/数据卷

EmptyDir

EmptyDir：最基础的Volume类型，一个EmptyDIr就是Host上一个空目录。在Pod被分配到Node时创建，初始内容为空，并且无需指定宿主机上对应目录文件，因为k8s会自动分配一个目录。Pod被销毁时，EmptyDir的数据也会被永久删除。

用途：

• 临时空间，例如用于某些应用运行时所需要的临时空间，且无需永久保留

• 一个容器需要从另一个容器中获取数据的目录（多容器共享目录）

案例:

在一个Pod中准备两个容器nginx和busybox，然后声明一个Volume分别挂在到两个容器的目录中，然后nginx容器负责向Volume中写日志，busybox中通过命令将日志内容读到控制台。

创建volume-emptydir.yaml

apiVersion: v1
kind: Pod
metadata:
  name: volume-emptydir
  namespace: dev
spec:
  containers:
  - name: nginx
    image: nginx:1.14-alpine
    ports:
    - containerPort: 80
    volumeMounts:  # 将logs-volume挂在到nginx容器中，对应的目录为 /var/log/nginx
    - name: logs-volume
      mountPath: /var/log/nginx
  - name: busybox
    image: busybox:1.30
    command: ["/bin/sh","-c","tail -f /logs/access.log"] # 初始命令，动态读取指定文件中内容
    volumeMounts:  # 将logs-volume 挂在到busybox容器中，对应的目录为 /logs
    - name: logs-volume
      mountPath: /logs
  volumes: # 声明volume， name为logs-volume，类型为emptyDir
  - name: logs-volume
    emptyDir: {}

操作过程：

[root@master ~]# vim  volume-emptydir.yaml
#创建名称空间
[root@master ~]# kubectl create ns dev
namespace/dev created
#创建Pod
[root@master ~]# kubectl create -f volume-emptydir.yaml
pod/volume-emptydir created
#查看信息
[root@master ~]# kubectl get pod -n dev -o wide
NAME              READY   STATUS    RESTARTS   AGE   IP           NODE    NOMINATED NODE   R
volume-emptydir   2/2     Running   0          32s   10.244.1.2   node1   <none>        
#通过PodIP访问端口 
[root@master ~]# curl 10.244.1.2:80


#另起一个窗口 在访问端口的同时，查看指定容器标准化输出
[root@master ~]# kubectl logs -f volume-emptydir -n dev -c busybox
10.244.0.0 - - [07/Jun/2023:00:36:29 +0000] "GET / HTTP/1.1" 200 612 "-" "curl/7.29.0" "-“
#能够查看，说明共享了EmptyDir数据
#记得测试完之后删除Pod哦
[root@master ~]# kubectl delete -f volume-emptydir.yaml
pod "volume-emptydir" deleted

HostPath

EmptyDir数据不会持久化，会随着Pod的结束而销毁，如果向简单持久化数据到主机中可以使用HostPath。

HostPath就是将Node主机中一个实际目录挂载到Pod中去，提供容器使用，这样设计就算Pod被销毁，数据依然可以存在于Node主机中。

创建volume-hostpath.yaml

apiVersion: v1
kind: Pod
metadata:
  name: volume-hostpath
  namespace: dev
spec:
  containers:
  - name: nginx
    image: nginx:1.17.1
    ports:
    - containerPort: 80
    volumeMounts:
    - name: logs-volume
      mountPath: /var/log/nginx
  - name: busybox
    image: busybox:1.30
    command: ["/bin/sh","-c","tail -f /logs/access.log"]
    volumeMounts:
    - name: logs-volume
      mountPath: /logs
  volumes:
  - name: logs-volume
    hostPath: 
      path: /root/logs
      type: DirectoryOrCreate  # 目录存在就使用，不存在就先创建后使用

关于一些配置信息（例如type)可以在官方文档中查看，这里不做详细说明。官方文档地址:Kubernetes文档/概念/存储/卷

操作过程：

[root@master ~]# vim volume-hostpath.yaml
#创建Pod
[root@master ~]# kubectl create -f volume-hostpath.yaml
pod/volume-hostpath created

#查看Pod信息
[root@master ~]# kubectl get pod -n dev -o wide
NAME              READY   STATUS    RESTARTS   AGE    IP           NODE    NOMINATED NODE   READINESS GATES
volume-hostpath   2/2     Running   0          110s   10.244.1.3   node1   <none>           <none>
#访问80端口
[root@master ~]# curl 10.244.1.3:80

#与此同时 新窗口动态查看标准容器输出
[root@master ~]# kubectl logs -f volume-hostpath -n dev -c busybox
10.244.0.0 - - [07/Jun/2023:01:04:43 +0000] "GET / HTTP/1.1" 200 612 "-" "curl/7.29.0" "-"

#这个Pod在node1节点下 进入node1节点查看 ssh远程连接node1 IP
[root@master ~]# ssh '[email protected]'
The authenticity of host '192.168.126.133 (192.168.126.133)' can't be established.
ECDSA key fingerprint is SHA256:XQp99d3wLmZ8HRxWl755k0HMFfuKrio66QdSM7r507c.
ECDSA key fingerprint is MD5:24:50:b7:e7:3f:bd:a7:9c:52:4a:0a:5b:73:c1:2d:7f.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added '192.168.126.133' (ECDSA) to the list of known hosts.
[email protected]'s password:
Last login: Tue Jun  6 20:22:25 2023
#文件存在OK
[root@node1 ~]# ls /root/logs/
access.log  error.log
#退出
[root@node1 ~]# exit
logout
Connection to 192.168.126.133 closed.
#同样的道理，如果在此目录下创建一个文件，到容器中也是可以看到的
#测试完记得删除Pod
[root@master ~]# kubectl delete -f volume-hostpath.yaml
pod "volume-hostpath" deleted

NFS

Hostpath可以解决数据持久化问题，但一旦Node节点故障，Pod如果转移到别的节点，又有新的问题，此时需要准备单独的网络存储系统。常用NFS，CIFS。

NFS是网络文件存储系统，可以搭建一台NFS服务器，然后将Pod中存储直接连接到NFS系统上，无论Pod节点怎么转移，只要Node跟NFS的对接没问题，数据就可以访问。

1. 首先准备nfs服务器，简单演示，直接使用master节点做nfs服务器

   #安装nfs服务
   [root@master ~]# yum install nfs-utils -y
   #准备共享目录
   [root@master ~]# mkdir /root/data/nfs -pv
   mkdir: created directory ‘/root/data’
   mkdir: created directory ‘/root/data/nfs’
   
   #将共享目录以读写权限暴露给集群IP网段上这里以192.168.126.0/24网段所有主机
   #/etc/exports nfs服务默认读取文件
   [root@master ~]# vim /etc/exports
   [root@master ~]# cat /etc/exports
   /root/data/nfs     192.168.126.0/24(rw,no_root_squash)
   
   #启动nfs服务
   [root@master ~]# systemctl start nfs
   
   

2. 为了让node节点驱动nfs设备，在每个node节点上安装nfs，注意不要启动

   yum install nfs-utils -y
   

3. 编写volume-nfs.yaml

   apiVersion: v1
   kind: Pod
   metadata:
     name: volume-nfs
     namespace: dev
   spec:
     containers:
     - name: nginx
       image: nginx:1.17.1
       ports:
       - containerPort: 80
       volumeMounts:
       - name: logs-volume
         mountPath: /var/log/nginx
     - name: busybox
       image: busybox:1.30
       command: ["/bin/sh","-c","tail -f /logs/access.log"] 
       volumeMounts:
       - name: logs-volume
         mountPath: /logs
     volumes:
     - name: logs-volume
       nfs:
         server: 192.168.126.132  #nfs服务器地址
         path: /root/data/nfs #共享文件路径
   

4. 运行Pod，观察结果

   #创建Pod
   [root@master ~]# kubectl create -f volume-nfs.yaml
   pod/volume-nfs created
   #查看Pod
   [root@master ~]# kubectl get pod -n dev -o wide
   NAME         READY   STATUS    RESTARTS   AGE   IP           NODE    NOMINATED NODE   READINESS GATES
   volume-nfs   2/2     Running   0          46s   10.244.1.4   node1   <none>           <none>
   
   #进入共享文件 发现已经有文件了
   [root@master ~]# ls /root/data/nfs/
   access.log  error.log
   [root@master ~]# cd /root/data/nfs/
   #然后再访问一下
   [root@master ~]# curl 10.244.1.4:80
   
   #查看日志文件输出
   [root@master nfs]# tail -f access.log
   10.244.0.0 - - [07/Jun/2023:01:47:43 +0000] "GET / HTTP/1.1" 200 612 "-" "curl/7.29.0" "-"