用heketi管理glusterfs并创建volume
Heketi 提供了丰富的RESTful API 用来对于Glusterfs的volume进行管理。Heketi可以同时管理多个cluster，每个cluster由多个node组成，每个node都是一个物理机，准确的说是一个裸盘。然后每个裸有多个bricks，而volume就是多个bricks组成的，但是，一个volume不可以跨node组成。示意图如下所示。
Heketi 在Github上的地址：https://github.com/heketi
下文将要讲述在Redhat 7上安装Heketi， Glusterfs并进行相应配置。
1. 配置Gluster yum 源并且安装heketi & glusterfs
进入/etc/yum.repos.d/目录，新建gluster.repo(名字随便起，但是后缀必须是repo)，添加如下内容到gluster.repo文件：
[gluster]
name = Gluster
baseurl = http://buildlogs.centos.org/centos/7/storage/x86_64/gluster-4.0/
gpgcheck = 0
enable = 1
保存文件，然后执行yum repolist 会看到如下内容
接着执行yum install heketi -y 和 yum install heketi-client -y，进行heketi和heketi-client的安装。检查是否安装成功，用heketi --version查看版本，如果有版本信息，那么证明安装成功。接下来需要开启heketi服务。
order1 ：systemctl enable heketi
order2 : systemctl start heketi
此时如果发生start fail，在log中查看日志（/var/log/messages),会看到如下内容：
这是因为默认的配置文件有个错误，此时需要通过 find /etc -name "heketi.service" 命令，找到heketi.service文件，打开文件，内容显示如下：
刚安装完毕，上面标注那一行内容应该是“-config” 而不是“--config”，所以在前面多加一个”-“，然后保存文件。接着执行systemctl daemon-reload. 然后执行systemctl start heketi 命令启动heketi。然后用
systemctl status heketi，会看到如下内容
yum install glusterfs-server （服务器端）yum install -y glusterfs-client（客户端）。接着执行gluster --version命令，确认gluster安装成功。
2. 利用heketi创建gluster集群并进行volume管理
heketi有两个文件比较重要，第一个是heketi.json，位于/etc/heketi 目录下，主要用来确定heketi端口以及cluster node管理方式的定义等；第二个topology.json（文件路径随意，但是需要记住路径，用途后面写），此文件用来描述heketi创建的cluster的topology模型。heketi就是根据这个文件来创建cluster topology进而创建node 和volume。
如下是heketi.json文件的内容：
第一张图是heketi的端口号，默认是8080，但是可以修改，修改完之后需要重启heketi才能生效。
下面这张图是比较重要的，heketi用来管理cluster的，下面的配置控制了cluster下的node的管理方式，有三种
：mock， ssh，kubernetes。mock，顾名思义就是测试，在这种模式下，可以对于自己的配置文件什么的进行检验，但是，但是，但是，重要的坑说三遍，如果处于此模式下，虽然你可以看到node添加成功，volume创建成功，但是这些volume是不可用的，无法挂载的。所以如果要在SVT或者PROD环境用的话，一定要用ssh或者kubernetes模式。下面只讲述ssh模式。
3 cluster topology的配置
3 cluster topology的配置
在/etc/heketi，新建文件topology.json，写入如下内容
{
"clusters": [
{
"nodes": [
{
"node": {
"hostnames": {
"manage": [
"100.120.187.1"
],
"storage": [
"100.120.187.1"
]
},
"zone": 1
},
"devices": [
{
"name": "/dev/mapper/bcdisk1-disk1",
"destroydata": true
}
]
},
"node": {
"hostnames": {
"manage": [
"100.120.187.2"
],
"storage": [
"100.120.187.2"
]
},
"zone": 1
},
"devices": [
{
"name": "/dev/mapper/bcdisk1-disk1",
"destroydata": true
}
]
},
{
"node": {
"hostnames": {
"manage": [
"100.120.187.3"
],
"storage": [
"100.120.187.3"
]
},
"zone": 1
},
"devices": [
{
"name": "/dev/mapper/bcdisk1-disk1",
"destroydata": true
}
]
}
]
}
]
}
查阅了相关资料，用heketi模式，最少需要三个node，如上配置。如果少于三个节点，cluster能创建成功，但是在创建volume的时候会出现错误。topology文件添加成功后，开始创建cluster topology，执行命令：
heketi-cli topology load --json=topology.json。然后输入heketi-cli topology info，查看topology是否创建成功。如果成功会显示如下内容：
下面就可以创建指定size的volume来进行使用了，创建volume命令：
heketi-cli volume create --size=10 --clusters=
clusterid。其中clusterid可以通过heketi-cli cluster list命令来获取。创建的volume可以通过mount的方式使用。
至此，heketi已经完成heketi的安装以及volume的创建和使用。