k8s 集群之使用 nfs 网络存储挂载外部目录和文件
如果使用 k8s 部署 mysql、redis、minio等数据和文件存储服务，k8s 默认容器如果重建，则容器中的数据文件将会丢失，所以为了解决这些问题，通常就需要将容器中需要持久化的文件存储到其它可持久化存储目录中。
如果使用 k8s 部署 springboot 项目，那么项目的日志文件也是需要存储到其它可持久化存储目录中。
k8s存储支持多种模式，本地存储，传递网络存储，分布式网络存储，以及云存储等。
本章节是基于上一个章节 Springboot 项目通过 gitlab CI/CD 集成 k8s 自动部署，实现通过 nfs 挂载 springboot 项目的日志文件到外部目录。
安装NFS
在挂载的目标服务器上安装 nfs-utils（这里使用的 nfs 服务器ip是 192.168.1.28）
[root@node3 ~]# yum -y install nfs-utils
创建 nfs 目录并修改权限
[root@node3 ~]# mkdir -p /nfs/data/
[root@node3 ~]# chmod -R 777 /nfs/data
编辑 nfs 默认的配置文件 /etc/exports，写入如下内容
[root@node3 ~]# cat /etc/exports
/nfs/data *(rw,no_root_squash,sync)
配置生效并查看生效
[root@node3 ~]# exportfs -r
[root@node3 ~]# exportfs
/nfs/data <world>
启动rpcbind、nfs服务
[root@node3 ~]# systemctl restart rpcbind && systemctl enable rpcbind
[root@node3 ~]# systemctl restart nfs-server && systemctl enable nfs-server
查看 RPC 服务的注册状况
[root@node3 ~]# rpcinfo -p localhost
program vers proto port service
100000 4 tcp 111 portmapper
100000 3 tcp 111 portmapper
100000 2 tcp 111 portmapper
100000 4 udp 111 portmapper
100000 3 udp 111 portmapper
100000 2 udp 111 portmapper
...
...
showmount测试
[root@node3 ~]# showmount -e 192.168.1.28
Export list for 192.168.1.28:
/nfs/data *
k8s yaml 配置 pod 日志挂载
在 k8s 的所有节点下安装 nfs-utils
[root@node1 ~]# yum -y install nfs-utils
在 master 节点服务器上新建 用于创建 pv 和 pvc 的 yaml 文件 springboot-ci-cd-demo-pv.yaml，内容如下
apiVersion: v1
kind: PersistentVolume
metadata:
name: springboot-ci-cd-demo-pv
labels:
pv: springboot-ci-cd-demo-pv
spec:
capacity:
storage: 100Mi
accessModes:
- ReadWriteMany
nfs:
server: 192.168.1.28
path: "/nfs/data/logs/springboot-ci-cd-demo/" #NFS目录，需要该目录在NFS上存在，不存在需要先去创建目录
---
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
name: springboot-ci-cd-demo-pvc
spec:
accessModes:
- ReadWriteMany
resources:
requests:
storage: 100Mi #容量
执行创建 pv 和 pvc 命令
[root@master yaml]# kubectl apply -f springboot-ci-cd-demo-pv.yaml -n demo
persistentvolume/springboot-ci-cd-demo-pv created
persistentvolumeclaim/springboot-ci-cd-demo-pvc created
[root@master yaml]# kubectl get pv -n demo
NAME CAPACITY ACCESS MODES RECLAIM POLICY STATUS CLAIM STORAGECLASS REASON AGE
springboot-ci-cd-demo-pv 100Mi RWX Retain Bound demo/springboot-ci-cd-demo-pvc 15s
[root@master yaml]# kubectl get pvc -n demo
NAME STATUS VOLUME CAPACITY ACCESS MODES STORAGECLASS AGE
springboot-ci-cd-demo-pvc Bound springboot-ci-cd-demo-pv 100Mi RWX 25s
pod 的 yaml 文件修改，即 gitlab variable 变量 K8S_DEMO_YAML 的内容修改如下
---
apiVersion: v1
kind: Service
metadata:
name: $DEPLOYMENT_NAME
namespace: demo
labels:
app: ci-cd-demo
spec:
type: NodePort
ports:
- name: ci-cd-demo
port: 8080
protocol: TCP
nodePort: 30080
selector:
app: ci-cd-demo
---
apiVersion: apps/v1
kind: Deployment #对象类型
metadata:
name: $DEPLOYMENT_NAME #名称
labels:
app: ci-cd-demo #标注
spec:
replicas: 1 #运行容器的副本数，修改这里可以快速修改分布式节点数量
selector:
matchLabels:
app: ci-cd-demo
template:
metadata:
labels:
app: ci-cd-demo
spec:
containers: #docker容器的配置
- name: $DEPLOYMENT_NAME
image: $PROJECT_IMAGE
imagePullPolicy: Always
ports:
- containerPort: 8080
protocol: TCP
env:
- name: JAVA_OPTS
value: -Xms256m -Xmx256m
volumeMounts:
- mountPath: /data/logs
name: logfile
volumes:
- name: logfile
persistentVolumeClaim:
claimName: springboot-ci-cd-demo-pvc
imagePullSecrets:
- name: regsecret
在 springboot 项目的 yml 配置文件里指定日志输出目录
logging:
file:
name: /data/logs/springboot-ci-cd-demo.log
删除 pod 原来的部署，重新跑 CI 部署
[root@master ~]# kubectl delete deployment springboot-ci-cd-demo -n demo
deployment.apps "springboot-ci-cd-demo" deleted
CI 跑完之后成功部署项目之后，在挂载的 nfs 目录 /nfs/data/logs/springboot-ci-cd-demo/ 下查看日志文件
[root@node3 ~]# cd /nfs/data/logs/springboot-ci-cd-demo
[root@node3 springboot-ci-cd-demo]# ls
springboot-ci-cd-demo.log
pod 重启之后日志输出会叠加到该日志文件上