Kubernetes持久化存储可分为静态存储以及动态存储，静态存储，常用的用hostpath本地存储，NFS，glusterfs存储等，需要事先部署好存储卷pv，再通过K8S的pvc获取到存储空间进行存储。动态存储，事先部署好glusterfs集群以及Heketi，通过二者协作，达到只需要创建申请pvc就可以动态申请到存储空间，省去了底层存储卷以及pv的创建。
准备三台虚拟机，配置2核4g kubeadm安装的高可用K8S集群
172.30.0.74 k8smaster1 hostname： k8smaster1
172.30.0.82 k8smaster2 hostname： k8smaster2
172.30.0.90 k8snode hostname： k8snode
glusterfs集群创建
配置glusterfs yum源
# CentOS-Gluster-4.1.repo
#
# Please see http://wiki.centos.org/SpecialInterestGroup/Storage for more
# information
[centos-gluster41]
name=CentOS-$releasever - Gluster 4.1 (Long Term Maintanance)
baseurl=http://mirror.centos.org/centos-7/7/storage/x86_64/gluster-4.1/
gpgcheck=0
enabled=1
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-SIG-Storage
[centos-gluster41-test]
name=CentOS-$releasever - Gluster 4.1 Testing (Long Term Maintenance)
baseurl=http://buildlogs.centos.org/centos/$releasever/storage/$basearch/gluster-4.1/
gpgcheck=0
enabled=0
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-SIG-Storage
安装glusterfs
# yum install glusterfs-server
启动：
# systemctl start glusterd
# systemctl start glusterfsd
每台glusterfs节点都要安装
glusterfs使用
# glusterfs peer probe k8smaster2
# glusterfs peer probe k8snode
将glusterfs节点加入到集群中
设置glusterfs卷：
# mkdir /data/brick1/gv2
三台机子都需要执行
创建复制卷：
# gluster volume create gv2 replica 2 172.30.0.74:/data/brick1/gv2 172.30.0.82:/data/brick1/gv2 force
启动glusterfs卷：
# gluster volume start gv2
# gluster volume info
查看卷的情况
glusterfs集群创建完成
Heketi配置
Heketi提供了一个RESTful管理界面，可以用来管理GlusterFS卷的生命周期。 通过Heketi，就可以像使用OpenStack Manila，Kubernetes和OpenShift一样申请可以动态配置GlusterFS卷。Heketi会动态在集群内选择bricks构建所需的volumes，这样以确保数据的副本会分散到集群不同的故障域内。同时Heketi还支持任意数量的ClusterFS集群，以保证接入的云服务器不局限于单个GlusterFS集群。
获取安装包
# wget https://github.com/heketi/heketi/releases/download/v5.0.1/heketi-v5.0.1.linux.amd64.tar.gz
# tar xf heketi-v5.0.1.linux.amd64.tar.gz
# ln -s /root/heketi/heketi /bin/heketi
# ln -s /root/heketi/heketi-cli /bin/heketi-cli
修改Heketi配置文件
修改heketi配置文件/etc/heketi/heketi.json，内容如下：
......
#修改端口，防止端口冲突
"port": "18080",
......
#允许认证
"use_auth": true,
......
#admin用户的key改为adminkey
"key": "adminkey"
......
#修改执行插件为ssh，并配置ssh的所需证书，注意要能对集群中的机器免密ssh登陆，使用ssh-copy-id把pub key拷到每台glusterfs服务器上
"executor": "ssh",
"sshexec": {
"keyfile": "/root/.ssh/id_rsa",
"user": "root",
"port": "22",
"fstab": "/etc/fstab"
},
......
# 定义heketi数据库文件位置
"db": "/var/lib/heketi/heketi.db"
......
#调整日志输出级别
"loglevel" : "warning"
PS：需要说明的是，heketi有三种executor，分别为mock、ssh、kubernetes，建议在测试环境使用mock，生产环境使用ssh，当glusterfs以容器的方式部署在kubernetes上时，才使用kubernetes。我们这里将glusterfs和heketi独立部署，使用ssh的方式。
启动Heketi：
nohup heketi --config=/etc/heketi/heketi.json &
Heketi添加Glusterfs
创建集群
# heketi-cli --user admin --server http://172.30.0.74:28080 --secret adminkey --json cluster create
{"id":"7e320f3f04068c0564eb92e865263bd4","nodes":[],"volumes":[]}
使用返回的唯一集群id将三个节点加入到集群中
# heketi-cli --user admin --server http://172.30.0.73:28080 --secret adminkey --json node add --cluster "7e320f3f04068c0564eb92e865263b" --management-host-name 172.30.0.73 --storage-host-name 172.30.0.74 --zone 1
# heketi-cli --user admin --server http://172.30.0.73:28080 --secret adminkey --json node add --cluster "7e320f3f04068c0564eb92e865263b" --management-host-name 172.30.0.81 --storage-host-name 172.30.0.82 --zone 1
# heketi-cli --user admin --server http://172.30.0.73:28080 --secret adminkey --json node add --cluster "7e320f3f04068c0564eb92e865263b" --management-host-name 172.30.0.89 --storage-host-name 172.30.0.90 --zone 1
在三个节点创建逻辑卷，作为Heketi的device，方便后续扩展，注意Heketi只支持裸分区或者裸磁盘，不需要格式化文件系统
# heketi-cli --json device add --name="/dev/myvg/mylv" --server http://172.30.0.74:28080 --node "78850cf6d4a44964b1fdf09970feb0"
# heketi-cli --json device add --name="/dev/myvg/mylv" --server http://172.30.0.74:28080 --node "560f238695f64479298429c062dc4c"
# heketi-cli --json device add --name="/dev/myvg/mylv" --server http://172.30.0.74:28080 --node "4e3e965421d26e6858d18e6ccaf19f"
生产实际配置
上面展示了如何手动一步步生成cluster，往cluster中添加节点，添加device的操作，在我们实际生产配置中，可以直接通过配置文件完成。
创建一个/etc/heketi/topology-sample.json的文件，内容如下：
{
"clusters": [
{
"nodes": [
{
"node": {
"hostnames": {
"manage": [
"192.168.75.175"
],
"storage": [
"192.168.75.175"
]
},
"zone": 1
},
"devices": [
"/dev/vda2"
]
},
{
"node": {
"hostnames": {
"manage": [
"192.168.75.176"
],
"storage": [
"192.168.75.176"
]
},
"zone": 1
},
"devices": [
"/dev/vda2"
]
},
{
"node": {
"hostnames": {
"manage": [
"192.168.75.177"
],
"storage": [
"192.168.75.177"
]
},
"zone": 1
},
"devices": [
"/dev/vda2"
]
},
{
"node": {
"hostnames": {
"manage": [
"192.168.75.178"
],
"storage": [
"192.168.75.178"
]
},
"zone": 1
},
"devices": [
"/dev/vda2"
]
}
]
}
]
}
创建：
heketi-cli topology load --json topology-sample.json
至此前期glusterfs以及Heketi的准备工作已完成
创建K8S的storageclass文件，使得K8S调用Heketi创建底层pv
创建storageclass
[root@consolefan-1 yaml]# cat glusterfs/storageclass-glusterfs.yaml
apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
name: glusterfs
provisioner: kubernetes.io/glusterfs
parameters:
resturl: "http://172.30.0.74:28080"
clusterid: "7e320f3f04068c0564eb92e865263b"
restauthenabled: "true"
restuser: "admin"
restuserkey: "adminkey"
gidMin: "40000"
gidMax: "50000"
volumetype: "replicate:2"
# kubectl apply -f storageclass-glusterfs.yaml、
创建pvc进行验证：
[root@consolefan-1 yaml]# cat glusterfs/pvc-glusterfs.yaml
kind: PersistentVolumeClaim
apiVersion: v1
metadata:
name: glusterfs-test1
namespace: default
annotations:
volume.beta.kubernetes.io/storage-class: "glusterfs"
spec:
accessModes:
- ReadWriteMany
resources:
requests:
storage: 1Gi
# kubectl apply -f pvc-glusterfs.yaml
构建成功
