kubenetes入门学习-十二-存储卷1

最近学习k8s遇到很多问题，建了一个qq群：153144292，交流devops、k8s、docker等

存储卷

=========================
应用分类：
   有状态、有存储
   有状态，无存储
   无状态，有存储
   无状态，无存储

当pod故障被删除或者用户被删除，从新被编排到其他node上运行，数据随之pod结束就结束了，pod是有生命周期的，这里就需要存储了，持久化存储数据。

基于以上原因就k8s提供了存储卷，存储卷不属于k8s，属于pod，创建pod的是基于pause基础架构容器，都是基于他的网络名称空间。

如果是宿主机的存储卷，node宕机就有问题了。这样就需要跨node的存储卷了
=========================
一、存储卷的概念和类型
    emptyDir（Pod删除，数据也会被清除、用于数据的临时存储）
    hostPath（docker之前学的）
    传统意义的san（iscsi..）设备或者nas（nfs、cifs..）
    分布式存储（glusterfs、rbd、cephfs）
    云存储（aws ebs、Azure Disk...）

    为了保证数据的持久性，必须保证数据在外部存储在docker容器中，为了实现数据的持久性存储，在宿主机和容器内做映射，可以保证在容器的生命周期结束，数据依旧可以实现持久性存储。但是在k8s中，由于pod分布在各个不同的节点之上，并不能实现不同节点之间持久性数据的共享，并且，在节点故障时，可能会导致数据的永久性丢失。为此，k8s就引入了外部存储卷的功能。

k8s支持的类型：
    kubectl explain pod.spec.volumes
    发现很多种类型的存储
    pvc（persistentVolumeClaim）：pod上定义一个pvc类型，关联到ns，这个是申请，申请跟pv建立关联关系。pv才是存储上的存储空间。
         公有云的情况是在存储之上抽象一层，当用户申请的时候，自动帮助用户分配匹配的存储空间大小。

k8s要使用存储卷，需要2步：
    1、在pod定义volume，并指明关联到哪个存储设备
    2、在容器使用volume mount进行挂载，然后才能使用
========================
二、emptyDir实验
    一个emptyDir 第一次创建是在一个pod被指定到具体node的时候，并且会一直存在在pod的生命周期当中，
正如它的名字一样，它初始化是一个空的目录，pod中的容器都可以读写这个目录，这个目录可以被挂在到各
个容器相同或者不相同的的路径下。当一个pod因为任何原因被移除的时候，这些数据会被永久删除。

注意：一个容器崩溃了不会导致数据的丢失，因为容器的崩溃并不移除pod

emptyDir 磁盘的作用：
（1）普通空间，基于磁盘的数据存储
（2）作为从崩溃中恢复的备份点
（3）存储那些那些需要长久保存的数据，例web服务中的数据

默认的，emptyDir 磁盘会存储在主机所使用的媒介上，可能是SSD，或者网络硬盘，这主要取决于你的环境。
当然，我们也可以将emptyDir.medium的值设置为Memory来告诉Kubernetes 来挂在一个基于内存的目录tmpfs，
因为tmpfs速度会比硬盘块度了，但是，当主机重启的时候所有的数据都会丢失。

kubectl explain pod.spec.volumes.emptyDir  #查看emptyDir存储定义
kubectl explain pod.spec.containers
kubectl explain pod.spec.containers.volumeMounts #查看容器挂载方式

[root@master ~]# cd manifests/
[root@master manifests]# mkdir volumes
[root@master manifests]# cd volumes/
[root@master volumes]# ls
[root@master volumes]# cp ../pod-demo.yaml ./
[root@master volumes]# ll
total 4
-rw-r--r--. 1 root root 408 Mar 14 11:53 pod-demo.yaml
[root@master volumes]# mv pod-demo.yaml pod-vol-demo.yaml
[root@master volumes]# cat pod-vol-demo.yaml 
apiVersion: v1
kind: Pod
metadata:
  name: pod-demo
  namespace: default
  labels:
    app: myapp
    tier: frontend
  annotations:
    magedu.com/create-by:"cluster admin"
spec:
  containers:
  - name: myapp
    image: nginx
    ports:
    - name: http
      containerPort: 80
    volumeMounts:                #在容器内定义挂载存储名称和挂载路径
    - name: html
      mountPath: /usr/share/nginx/html/  
  - name: busybox
    image: busybox:latest
    volumeMounts:                #在容器内定义挂载存储名称和挂载路径
    - name: html
      mountPath: /data/
    command: ['/bin/sh','-c','while true;do echo $(date) >> /data/index.html;sleep 2;done']
  volumes:                      #定义存储卷     
  - name: html                   #定义存储卷名称 
    emptyDir: {}                 #定义存储卷类型

[root@master volumes]# kubectl apply -f pod-vol-demo.yaml 
pod/pod-demo created
[root@master volumes]# kubectl get pods
NAME                                 READY   STATUS    RESTARTS   AGE
liveness-httpget-pod                 1/1     Running   1          9d
myapp-backend-pod-69dc8c7655-pqwk8   1/1     Running   0          24h
myapp-backend-pod-69dc8c7655-sgpw6   1/1     Running   0          24h
myapp-backend-pod-69dc8c7655-v4jvx   1/1     Running   0          24h
myapp-deploy-69dc8c7655-jkkwv        1/1     Running   0          4d8h
myapp-deploy-69dc8c7655-q97jc        1/1     Running   0          4d8h
myapp-deploy-69dc8c7655-sldk8        1/1     Running   0          4d8h
myapp-deploy-69dc8c7655-v9dvc        1/1     Running   0          4d8h
myapp-deploy-69dc8c7655-x5qth        1/1     Running   0          4d8h
nginx-7849c4bbcd-dscjr               1/1     Running   0          12d
nginx-7849c4bbcd-vdd45               1/1     Running   0          12d
nginx-7849c4bbcd-wrvks               1/1     Running   0          12d
nginx-deploy-84cbfc56b6-mjcw5        1/1     Running   0          13d
pod-demo                             2/2     Running   0          7s  这里下面两个容器
tomcat-backed-64d5bc78f7-b9tlh       1/1     Running   0          24h
tomcat-backed-64d5bc78f7-lv844       1/1     Running   0          24h
tomcat-backed-64d5bc78f7-s62j8       1/1     Running   0          24h
[root@master volumes]# kubectl get pods -o wide
NAME                                 READY   STATUS    RESTARTS   AGE    IP            NODE     NOMINATED NODE   READINESS GATES
liveness-httpget-pod                 1/1     Running   1          9d     10.244.2.17   node02            
myapp-backend-pod-69dc8c7655-pqwk8   1/1     Running   0          24h    10.244.1.27   node01            
myapp-backend-pod-69dc8c7655-sgpw6   1/1     Running   0          24h    10.244.1.28   node01            
myapp-backend-pod-69dc8c7655-v4jvx   1/1     Running   0          24h    10.244.2.30   node02            
myapp-deploy-69dc8c7655-jkkwv        1/1     Running   0          4d8h   10.244.1.24   node01            
myapp-deploy-69dc8c7655-q97jc        1/1     Running   0          4d8h   10.244.2.25   node02            
myapp-deploy-69dc8c7655-sldk8        1/1     Running   0          4d8h   10.244.2.27   node02            
myapp-deploy-69dc8c7655-v9dvc        1/1     Running   0          4d8h   10.244.2.28   node02            
myapp-deploy-69dc8c7655-x5qth        1/1     Running   0          4d8h   10.244.1.25   node01            
nginx-7849c4bbcd-dscjr               1/1     Running   0          12d    10.244.1.13   node01            
nginx-7849c4bbcd-vdd45               1/1     Running   0          12d    10.244.2.15   node02            
nginx-7849c4bbcd-wrvks               1/1     Running   0          12d    10.244.1.14   node01            
nginx-deploy-84cbfc56b6-mjcw5        1/1     Running   0          13d    10.244.2.9    node02            
pod-demo                             2/2     Running   0          117s   10.244.2.33   node02              这里
tomcat-backed-64d5bc78f7-b9tlh       1/1     Running   0          24h    10.244.1.29   node01            
tomcat-backed-64d5bc78f7-lv844       1/1     Running   0          24h    10.244.2.32   node02            
tomcat-backed-64d5bc78f7-s62j8       1/1     Running   0          24h    10.244.2.31   node02            
在上面，我们定义了2个容器，其中一个容器是输入日期到index.html中，然后验证访问nginx的html是否可以获取日期。
以验证两个容器之间挂载的emptyDir实现共享。如下访问验证:
[root@master volumes]# curl 10.244.2.33
Thu Mar 14 15:59:22 UTC 2019
Thu Mar 14 15:59:24 UTC 2019
Thu Mar 14 15:59:26 UTC 2019
Thu Mar 14 15:59:28 UTC 2019
Thu Mar 14 15:59:30 UTC 2019
Thu Mar 14 15:59:32 UTC 2019
Thu Mar 14 15:59:34 UTC 2019
Thu Mar 14 15:59:36 UTC 2019
Thu Mar 14 15:59:38 UTC 2019

========================
三、gitRepo
    把git仓库当作存储卷使用，宿主机必须有git命令，他也是在emptyDir之上。
说明：
    克隆仓库的内容
    修改不会同步git仓库
    如果pod运行过程，git仓库发生改变，不会从新同步新数据，当然如果想同步，可以做个辅助容器定时同步，实现同步。
[root@master volumes]# vim vol-gitrepo-pod.yaml
apiVersion: v1
kind: Pod
metadata:
  name: vol-gitrepo-pod
  namespace: default
  labels:
    app: wolf
    tier: frontend
spec:
  containers:
  - name: wolf
    image: nginx:1.12-alpine
    volumeMounts:
    - name: html
      mountPath: /usr/share/nginx/html/
  volumes:
  - name: html
    gitRepo:
      repository: https://github.com/iKubernetes/k8s_book.git
      directory: .
      revision: "master"
这里创建失败，回头找原因
=======================
四、hostPath
    hostPath宿主机路径，就是把pod所在的宿主机之上的脱离pod中的容器名称空间的之外的宿主机的文件
系统的某一目录和pod建立关联关系，在pod删除时，存储数据不会丢失。

1、查看hostPath存储类型定义
[root@master ~]#kubectl explain pods.spec.volumes.hostPath 
[root@master ~]#kubectl explain pods.spec.volumes.hostPath.type

https://kubernetes.io/docs/concepts/storage/volumes#hostpath
type：
DirectoryOrCreate  宿主机上不存在创建此目录  
Directory 必须存在挂载目录  
FileOrCreate 宿主机上不存在挂载文件就创建  
File 必须存在文件
[root@master volumes]# vim pod-hostpath--vol.yaml
apiVersion: v1
kind: Pod
metadata:
  name: pod-vol-hostpath
  namespace: default
spec:
  containers:
  - name: myapp
    image: nginx
    volumeMounts:
    - name: html
      mountPath: /usr/share/nginx/html
  volumes:
  - name: html
    hostPath:
      path: /data/pod/volume1
      type: DirectoryOrCreate
为了显示效果，去node1和node2上建立/data/pod/volume1，并创建index.html文件，分别写入node1和node2
[root@master volumes]# kubectl apply -f pod-hostpath--vol.yaml 
pod/pod-vol-hostpath created
[root@master volumes]# kubectl get pod
NAME                                 READY   STATUS    RESTARTS   AGE
pod-vol-hostpath                     1/1     Running   0          22s
[root@master volumes]# kubectl get pod -o wide
NAME                                 READY   STATUS    RESTARTS   AGE    IP            NODE     NOMINATED NODE   READINESS GATES
pod-vol-hostpath                     1/1     Running   0          36s    10.244.2.35   node02            

[root@master volumes]# kubectl get pod -o wide
NAME                                 READY   STATUS    RESTARTS   AGE    IP            NODE     NOMINATED NODE   READINESS GATES
pod-vol-hostpath                     1/1     Running   0          4s     10.244.2.37   node02            

[root@master volumes]# curl 10.244.2.37
node02

[root@master volumes]# kubectl delete -f pod-hostpath--vol.yaml 
pod "pod-vol-hostpath" deleted
[root@master volumes]# kubectl apply -f pod-hostpath--vol.yaml 
pod/pod-vol-hostpath created
[root@master volumes]# kubectl get pod -o wide
NAME                                 READY   STATUS              RESTARTS   AGE    IP            NODE     NOMINATED NODE   READINESS GATES
pod-vol-hostpath                     0/1     ContainerCreating   0          3s            node02            

[root@master volumes]# kubectl get pod -o wide
NAME                                 READY   STATUS    RESTARTS   AGE    IP            NODE     NOMINATED NODE   READINESS GATES
pod-vol-hostpath                     1/1     Running   0          6s     10.244.2.38   node02            

[root@master volumes]# curl 10.244.2.38
node02

hostPath可以实现持久存储，但是在node节点故障时，也会导致数据的丢失

========================
五、nfs共享存储卷
  nfs使的我们可以挂在已经存在的共享到的我们的Pod中，和emptyDir不同的是，emptyDir会被删除
当我们的Pod被删除的时候，但是nfs不会被删除，仅仅是解除挂在状态而已，这就意味着NFS能够允许
我们提前对数据进行处理，而且这些数据可以在Pod之间相互传递.并且，nfs可以同时被多个pod挂在并
进行读写。

[root@master volumes]# kubectl explain pv      #查看pv的定义方式
FIELDS:
    apiVersion
    kind
    metadata
    spec

[root@master volumes]# kubectl explain pv.spec       #查看pv定义的规格
spec:
  nfs（定义存储类型）
    path（定义挂载卷路径）
    server（定义服务器名称）
  accessModes（定义访问模型，有以下三种访问模型，以列表的方式存在，也就是说可以定义多个访问模式）
    ReadWriteOnce（RWO）  单节点读写
    ReadOnlyMany（ROX）  多节点只读
    ReadWriteMany（RWX）  多节点读写
  capacity（定义PV空间的大小）
    storage（指定大小）    

[root@master volumes]# kubectl explain pvc   #查看PVC的定义方式
KIND:     PersistentVolumeClaim
VERSION:  v1
FIELDS:
   apiVersion  
   kind  
   metadata