Minio（三） | Minio分布式集群搭建

分布式Minio概述

Minio官网

概念

        分布式Minio可以在多个服务器节点上，多块硬盘上共享存储空间，提供对象存储服务。分布式Minio由于多节点，避免了单点故障，保证文件存储的高可用。

搭建流程简述

        搭建分布式minio，主流程就是各个节点都要写一个相同的启动脚本，做一些配置，比如用户名，密码和文件存储的位置。然后依次去各个节点启动minio服务，启动的时候就会按照这个脚本的配置搭建分布式minio服务。

注意

• 分布式Minio里所有的节点需要有同样的access秘钥和secret秘钥，即：用户名和密码
• 分布式Minio存放数据的磁盘目录必须是空目录
• 分布式Minio官方建议生产环境最少4个节点，因为有N个节点，得至少保证有N/2的节点才能可读，保证至少N/2+1的节点才能可写。这里只是作演示搭建，只有2个节点
• 分布式Minio节点时间差不能差距太多，最好同一内网
• 分布式Minio会在每个磁盘都存一份数据文件保证数据的可靠性与安全性

主流程

准备虚拟机：2台centos7（配置好网络，保证2台虚拟机互通）

虚拟器安装和网络配置

• 192.168.43.110
• 192.168.43.111

准备搭建minio相关文件

• minio：minio服务器文件。下载地址：minio
• mc：mc客户端文件。这个用于执行minio命令行，搭建时候可不用。下载地址：mc
• run.sh：minion分布式搭建启动脚本。手动创建，里面配置内容稍后介绍

创建目录，并创建或者放入相关文件

/home/minio：存放minio文件，mc文件
          /home/minio/run：存放run.sh启动脚本
/home/miniodata：存放minio存储的数据，这里挂载2个磁盘
          /home/miniodata/data1
          /home/miniodata/data2
如图所示：

给文件加权限（在文件所在目录执行命令）

• chmod 777 mc
• chmod 777 minio
• chmod 777 run.sh

编写run.sh启动文件

MINIO_ACCESS_KEY：minio登录的用户名

MINIO_SECRET_KEY：minio登录的密码（密码不能太简单，不然会报错）

/home/minio/minio：指的是之前放入/home/minio目录的minio文件

–config-dir /etc/minio ：指分布式配置文件的目录在 /etc/minio

最后2行：配置的各个节点存储数据的挂载目录。这里指：在分别在110和111服务器，挂载/home/miniodata/data1和/home/miniodata/data2目录为存储数据的目录。每个节点挂载2个磁盘目录。

注意：
1.#!/bin/sh不能少

#!/bin/sh
export MINIO_ACCESS_KEY=minio
export MINIO_SECRET_KEY=12345678
 
/home/minio/minio server --config-dir /etc/minio \
http://192.168.43.110/home/miniodata/data1 http://192.168.43.110/home/miniodata/data2 \
http://192.168.43.111/home/miniodata/data1 http://192.168.43.111/home/miniodata/data2 \

准备minio.service系统服务文件

1.编写minio.service
WorkingDirectory：工作目录，指minio文件的存放目录/home/minio/

ExecStart：启动时要执行的run.sh文件。/home/minio/run/run.sh

Restart=on-failure
RestartSec=5：启动失败时尝试重新启动

[Unit]
Description=Minio service
Documentation=https://docs.minio.io/

[Service]
WorkingDirectory=/home/minio/
ExecStart=/home/minio/run/run.sh

Restart=on-failure
RestartSec=5

[Install]
WantedBy=multi-user.target

2.放入/etc/systemd/system目录

另外的虚拟机节点依次重复上述步骤

1.注意目录所在位置，文件名字都保持一致
2.另外节点弄好后，注意关闭防火墙或者开启防火墙9000端口（不开可能会关联不上，报错如下）

启动minio服务

启动服务：systemctl start minio.service
查看启动日志：journalctl -u minio.service -f
查看mino服务状态：systemctl status minio.service

1.启动192.168.43.110minio服务：
会等待110的节点启动

2.再启动192.168.43.111minio服务：

测试

1.测试地址（一般来说会由nginx代理多个节点保证服务性能）：
http://192.168.43.110:9000
http://192.168.43.111:9000

有兴趣可尝试nginx玩一玩，nginx配置如下：

upstream minio{
        server 192.168.43.110:9000;
        server 192.168.43.111:9000;
}
server {
        listen 9000;
        server_name minio;
        location / {
                proxy_pass http://minio;
                proxy_set_header Host $http_host;
                client_max_body_size 1000m;
        }
}

2.账号密码：minio 12345678
3.110创建桶minio110，111创建桶minio111。可以看到桶共享
在110节点上传文件，在111节点查看。可以看到文件已经共享

4.看一看磁盘
minio1：data1

minio1：data2

minio2：data1

minio2：data2

我们可以直观的看到：分布式minio存储会在每个节点的每个挂载目录都会存放一份数据。由于2节点上共4个磁盘挂载，所以一共存了4份文件在服务器上面