minio集群搭建（纠删码模式）

搭一个4个节点，16块硬盘的minio集群。

1.先做一些准备工作，新建了4个centos7的虚拟机，各新添加4块硬盘

        我用的虚拟机软件是VirtualBox，

       先搭建4个虚拟机，即4个节点， 建虚拟机就不讲了

        用VirtualBox添加硬盘，这几台虚拟机硬盘我都添加过了，我用一个其他node35这个机器介绍硬盘添加

添加磁盘这块我也不是特别懂，但是在搭建minio集群的过程中我是这么做的，而且成功了

下一步，接着选择磁盘大小，我为了节省点空间只分配了5G

完成后

一个新的5G的磁盘就建好了

一个IDE控制器只能容纳4个盘，本来就有一个系统盘，只能这样在建三个盘，一个盘就是一个drive,奥插一句，为什么新建这磁盘，是因为minio的存储用的盘不能和系统盘在一起，它是要一个干净的盘。新建完3个盘后

小加号点不了了，只能再添加一个控制器，在新的控制器里添加第四块新盘了

同样建盘的步骤跟之前一样，点右边的小加号

至此一个虚拟机即一个节点的硬盘（drive）创建完成，完成后用虚拟机软件这里是virtualBox启动机器,启动时硬盘会自动创建

2.格式化磁盘，挂载目录

         首先 lsblk 或者 fdisk -f

查看一下硬盘有没有添加成功，明显是添加成功了

格式化硬盘

创建硬盘挂载目录

 因为minio下载下来就是一个可执行文件，我给它外面包了一个minio文件夹，把minio可执行文件和挂载的目录即minio数据存放之处，放一起了，我习惯这么建，你们随意

mkdir -p /zx/minio/data 新建一个多层目录待会下载minio放在这个minio文件夹下

mkdir /zx/minio/data

因为有4个盘，需要建4个挂载目录

mkdir data1

mkdir data2

mkdir data3

mkdir data4

  

挂载目录data1,data2,data3,data4新建成功

顺手给data1,data2,data3,data4授权，以便minio集群互相访问时没有权限

chmod +777 data1

chmod +777 data2

chmod +777 data3

chmod +777 data4

挂载目录

        临时挂载：

        mount /dev/sdb /zx/minio/data/data1

        mount /dev/sdc /zx/minio/data/data2

        mount /dev/sdd /zx/minio/data/data3

        mount /dev/sde /zx/minio/data/data4

现在只是临时挂载，机器重启就没了

        设置永久挂载，修改 /etc/fstab文件

        vi /etc/fstab

        这个文件重启就生效了

3.下载 minio

wget https://dl.min.io/server/minio/release/linux-amd64/minio

这是下载最新版本的minio

下载完成

给minio可执行权限

chmod +x minio

其他三台机器做同样的操作

4.启动

这是我的4个虚拟机

       我把虚拟机的ip设为连续的为了启动方便，如果ip不连续可以在每台机子上配置/etc/hosts

像

这样

在四台机器上分别运行

        MINIO_ROOT_USER=minioadmin MINIO_ROOT_PASSWORD=minioadmin ./minio server --address ":9000" --console-address ":9001" http://192.168.56.2{1...4}/zx/minio/data/data{1...4}

刚运行

等到在四个机器上执行完

启动命令

这就启动成功了

显示有12块硬盘在线，4个离线看一下其他节点有没有报错信息

这个信息不一定准，因为当时可能还没完全启动，最新的集群信息可以用 mc客户端命令查看，也可以登录到控制台查看

mc客户端 

./mc alias set 'minio21' 'http:192.168.56.21:9000' 'minioadmin' 'minioadmin'

./mc config host list 

查看所有的连接名

./mc admin info minio21

最新的状态的集群信息4个节点，每个节点4块盘都在线

进入控制台看一眼

现在minio控制台分出来了 一个端口，较早的minion都在一个端口上，默认9000

还记得启动时-address ":9000" --console-address ":9001"吗，这就是在配置两个端口

在这里也可以看到所有的节点，所有的磁盘都在线。登录哪一台机器都一样。

一般得用nginx负载均衡。

nginx安装这篇就不讲了。简单看一下配置

nginx.conf

cd /etc/nginx/conf.d

vi minios16.conf   这配置文件名字自己随便，自己记得就行

nginx 启动nginx

访问 192.168.56.35:9999 访问不到

当然这是正常的

因为这个:9000时minio存储服务的核心端口，我们启动配置的控制台的启动端口时:9001

上图中 :9000端口改成:9001

再访问192.168.56.35:9999

就是minio的登录界面键入minioadmin minioadmin  如果用户名密码没修改过的话

证明nginx配置没问题

真正程序使用时应该配置9000因为这个9000minio核心存储运行在这,或者9000 9001都配，address ":9000" --console-address ":9001" 启动时address指定端口minio核心存储功能运行在此

console-address 控制台运行再次

这就算4节点16driver的minio集群搭建完成了吧

再看一下

AGPLv3这个协议，商用须谨慎，可能需要你的程序代码开源

最后一版 minio 20210422版本用的是

这个协议，可以放心用

这个版本的minio集群搭建基本一样， 就是启动时需要

 MINIO_ROOT_USER=minioadmin MINIO_ROOT_PASSWORD=minioadmin ./minio server --address ":9000" --console-address ":9001" http://192.168.56.2{1...4}/zx/minio/data/data{1...4}

将替换为MINIO_ACCESS_KEY=minioadmin MINIO_SECRET_KEY=minioadmin ./minio server =

http://192.168.56.2{1...4}/zx/minio/data/data{1...4}

这个版本控制台和核心存储还在一个端口上，不需要添加这些参数 ，minio210422版本登录用的还是MINIO_ACCESS_KEY=minioadmin MINIO_SECRET_KEY=minioadmin

在一个就是老版本控制台比较简陋，控制台只有最简单的添加bucket，上传下载文件的功能

这个控制台就没法查看集群的信息等啥都没有

可以用minio的客户端 mc查看，mc版本都无所谓，再windows版，linux版都一样用

这是我在window上连接210422版的8个节点，每个节点一个 drive的集群

mc.exe alias set 'minio8' http://192.168.56.31:9000 'minioadmin' 'minioadmin'

看一下添加成功没

mc.exe config host ls

、

mc.exe admin info minio8

所有节点都在线

一般有drive没在线都是，要不没挂载上，要不没权限。。根据报错信息排查一下就好。

linux mc 使用就是将mc.exe 换成 ./mc

这个8个节点8块drive的集群是我先搭了个4个节点4个drive,又扩容了4个节点4个drive

扩容时尽量扩容相同的节点相同的drive

我扩容是联邦扩容配置扩展方式

基本上就改了一下启动 命令 给看一下没扩容的启动命令和扩容完成的启动命令

MINIO_ACCESS_KEY=minioadmin MINIO_SECRET_KEY=minioadmin ./minio server http://minio210422-{1...4}/zx/minio/data

MINIO_ACCESS_KEY=minioadmin MINIO_SECRET_KEY=minioadmin ./minio server http://minio210422-{5...8}/zx/minio/data http://minio210422-{1...4}/zx/minio/data

差不多了，就这样吧