k8s mysql pv_k8s+mysql+pv+pvc+NFS实现mysql容器编排
k8s+mysql+pv+pvc+NFS实现mysql容器编排
首先需要介绍概念：pv和pvc
PV 是集群提供的一种存储资源，是实际可用的磁盘。和挂 PV 的 Pod 有着独立的生命周期，Pod 销毁后，PV 可以继续存在，以此来实现持久化存储。
PVC 是用户使用存储资源的声明，和 Pod 这一概念类似，Pod 消耗的是 Node 上的计算资源，PVC 消耗的是 PV 资源。
k8s编排mysql，最重要的就是保存mysql数据库中的数据，如果不实现持久化存储，则一旦重启mysql的pod，就会导致数据丢失，这是根本不能允许的。k8s的持久化存储不像docker，可以通过-v来实现本地目录与容器目录的映射，由于k8s创建的pod不一定在哪台机器上，所以无法每次都把pod所在主机的目录映射到容器中去，这时就需要统一的存储作为共享存储来使用了，比如NFS，Ceph等。于是编写yml文件内容如下：
apiVersion: v1
kind: PersistentVolume
metadata:
name: nfs-pv
# namespace: default
labels:
pv: nfs-pv
spec:
capacity:
storage: 1Gi
accessModes:
- ReadWriteMany
storageClassName: nfs
nfs:
# FIXME: use the rightIP
server: 192.168.1.252
path:"/home/centos7/nfs"
---
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
name: mysql-pv-claim
labels:
app: wordpress
spec:
accessModes:
- ReadWriteMany
resources:
requests:
storage: 200Mi
storageClassName: nfs
selector:
matchLabels:
pv: nfs-pv
---
apiVersion: v1
kind: Service
metadata:
name: mysql-service
labels:
app: mysql
spec:
ports:
- port: 3306
selector:
app: mysql
tier: mysql
clusterIP: None
---
apiVersion: extensions/v1beta1
kind: Deployment
metadata:
name: mysql
labels:
app: mysql
spec:
replicas: 1
selector:
matchLabels:
app: mysql
tier: mysql
strategy:
type: Recreate
template:
metadata:
labels:
app: mysql
tier: mysql
spec:
containers:
- image:192.168.1.229/project/mysql:5.7.18
name: mysql
env:
- name:MYSQL_ROOT_PASSWORD
value:"123456"
ports:
- containerPort:3306
name: mysql
volumeMounts:
- name:mysql-persistent-storage
mountPath:/var/lib/mysql
volumes:
- name:mysql-persistent-storage
persistentVolumeClaim:
claimName:mysql-pv-claim
以上共定义了4个模块，分别是pv、pvc、service和deployment。
一个一个说：
① pv模块
apiVersion: v1
kind: PersistentVolume
metadata:
name: nfs-pv
# namespace: default
labels:
pv: nfs-pv
spec:
capacity:
storage: 1Gi
accessModes:
- ReadWriteMany
storageClassName: nfs
nfs:
# FIXME: use the rightIP
server: 192.168.1.252
path:"/home/centos7/nfs"
固定写法，最下方定义了nfs的server和path，这就需要k8s本机安装nfs-utils，才能识别nfs；其次，还要在nfs服务器上指定path，并确保挂载nfs后，可以正常创建文件，写入内容。这里创建的pv存储总大小为1GB。定义pv的名称为nfs-pv，label为nfs-pv。
② pvc模块
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
name: mysql-pv-claim
labels:
app: wordpress
spec:
accessModes:
- ReadWriteMany
resources:
requests:
storage: 200Mi
storageClassName: nfs
selector:
matchLabels:
pv: nfs-pv
pvc向pv声明使用的存储空间大小为200MB，并且通过selector指定与label名为nfs-pv的pv相匹配，由于之前创建了label名为nfs-pv的pv，所以这里可以匹配成功，即pvc成功的向pv申请了200MB的空间。
③service
apiVersion: v1
kind: Service
metadata:
name: mysql-service
labels:
app: mysql
spec:
ports:
- port: 3306
selector:
app: mysql
tier: mysql
clusterIP: None
定义service，名称为mysql-service，label为mysql，service端口号是3306。该service会自动匹配app:mysql的deployment。
④deployment
apiVersion: extensions/v1beta1
kind: Deployment
metadata:
name: mysql
labels:
app: mysql
spec:
replicas: 1
selector:
matchLabels:
app: mysql
tier: mysql
strategy:
type: Recreate
template:
metadata:
labels:
app: mysql
tier: mysql
spec:
containers:
- image:192.168.1.229/project/mysql:5.7.18
name: mysql
env:
- name:MYSQL_ROOT_PASSWORD
value:"123456"
ports:
- containerPort:3306
name: mysql
volumeMounts:
- name:mysql-persistent-storage
mountPath:/var/lib/mysql
volumes:
- name:mysql-persistent-storage
persistentVolumeClaim:
claimName:mysql-pv-claim
deployment就比较复杂了，因为deployment起着承上启下的作用。对上，需要与service向连接，通过label；对下需要与pod相连接。pod中运行container，所以需要指定image，由于是mysql，所以还需要指定mysql的连接信息，如用户名和密码，端口等。最主要的，还需要挂载pvc，实现持久化存储，并最终将该存储映射到容器内的/var/lib/mysql路径下，实现数据的持久化。
以上都屡清楚后，就可以启动了，启动后，查看这4个模块的状态：
[root@devhadoop225 k8s]#kubectl get pv
NAME CAPACITY ACCESS MODES RECLAIM POLICY STATUS CLAIM STORAGECLASS REASON AGE
nfs-pv 1Gi RWO Retain Bound default/mysql-pv-claim nfs1 18h
[root@devhadoop225 k8s]#kubectl get pvc
NAME STATUS VOLUME CAPACITY ACCESS MODES STORAGECLASS AGE
mysql-pv-claim Bound nfs-pv 1Gi RWO nfs1 18h
可以看到，pv和pvc已经实现了连接。忽略这里的nfs1，这是storageClassName: nfs1的配置，这个也可以不加。
[root@devhadoop225 k8s]#kubectl get svc
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
deployment-wp NodePort 10.68.224.222 80:36661/TCP 5d
kubernetes ClusterIP 10.68.0.1 443/TCP 9d
mysql-service ClusterIP None 3306/TCP 16h
查看service也是正常的。
但查看pod时，出现了如下错误：
[root@devhadoop225 k8s]# kubectl logs
wordpress-mysql-6976864748-m2nph
Error from server: Gethttp://192.168.1.240:10250/containerLogs/default/wordpress-mysql-6976864748-m2nph/mysql:net/http: HTTP/1.x transport connection broken: malformed HTTP response"\x15\x03\x01\x00\x02\x02"
[root@devhadoop225 k8s]# kubectl describe
pods wordpress-mysql-6976864748-js75f
Warning BackOff 12s (x4over 41s) kubelet, 192.168.1.229 Back-off restartingfailed container
在k8s node端，查看container的运行日志，也没有任何内容，查不着任何有用的信息，于是就一直卡在这个问题上。但此时，在node上查看磁盘挂载情况，是可以看到的：
这说明，deployment中pvc申请是成功的。
尝试去掉如下部分，再启动k8s mysq了，则一切正常：
这说明，问题就出现在了这部分上。但就是找不到问题的突破口。按上面的报错信息查找原因，根本找不出来原因。
就这样过了一下午······这其中，也排除了几个问题，比如NFS目录不能写入的问题；ReadWriteMany与ReadWriteOnce不对称的问题；还有之前由于没有配置pv，只配置了pvc就想实现持久化存储的问题；还有pv如何与pvc相关联的问题等等。
后来，经过摸索，尝试在kubelet上直接运行docker命令创建mysql，但是volumes需要绑定nfs配置目录到容器的/var/lib/mysql，即执行：
docker run -p 3316:3306 --name mysql -v/data/mysql/conf:/etc/mysql/conf.d -v/var/lib/kubelet/pods/777d6238-d75c-11e8-b75b-ea2abbd44791/volumes/kubernetes.io~nfs/nfs-pv:/var/lib/mysql-e MYSQL_ROOT_PASSWORD=123456 -d 192.168.1.229/project/mysql:5.7.18
同样是创建失败，查看logs发现报错如下：
changing ownership of '/var/lib/mysql/': Operation notpermitted
正是因为这个错误的暴露，才让我解决了整个k8s+mysql+pv+pvc+nfs的整套问题！！！
在搜索这个问题时，在Stack Overflow中找到如下内容：
提示说确实是与NFS的配置有关，NFS默认是squash_all模式，但是要想使用NFS目录，将目录映射到docker容器中，必须要配置成no_root_squash模式才行，否则root用户无权限使用nfs的volume来映射docker容器中的目录！！！
no_root_squash模式：是登入 NFS 主机使用分享目录的使用者，如果是 root 的话，那么对于这个分享的目录来说，他就具有 root 的权限！这个项目『极不安全』，不建议使用！
这正是我遇到的问题，之前一直在排查k8s master节点的问题，查找资料有说是
kube-controller-manager的问题，但是排查一圈，没有发现问题。原来是NFS的问题啊，于是果断在NFS配置文件中增加了no_root_squash：
[root@dev252 etc]# more exports
#/home/centos7/ 192.168.1.0/24(insecure,rw,sync,fsid=0)
/home/centos7/nfs192.168.1.0/24(insecure,rw,sync,no_root_squash,fsid=0)
这样，再重启nfs后，再次通过k8s启动mysql service，就一切都正常了，可以正常创建pod，也可在240上正常创建容器了！
至此，就实现了k8s+mysql+pv+pvc+NFS的整套方案，首先是pv+pvc+NFS实现存储持久化；再将存储映射到容器中去，通过k8s实现容器编排，就完成了整套方案！！！
虽然花费了将近一天的时间，但是还是很值得的！！！