minio分布式集群部署

minio分布式集群部署

分布式 Minio 可以让你将多块硬盘或者多台服务器组成一个对象存储服务。由于硬盘分布在不同的节点上,分布式 Minio 避免了单点故障。MinioMinio分布式模式可以帮助你搭建一个高可用的对象存储服务,你可以使用这些存储设备,而不用考虑其真实物理位置。

  • minio官网:https://docs.min.io/docs/minio-quickstart-guide.html
  • minio中文文档:http://docs.minio.org.cn/docs

一、Minio分布式部署的好处

1、数据保护

1.1	分布式 Minio 采用纠删码来防范多个节点宕机和位衰减。

1.2 分布式 Minio 至少需要 4 个节点(4台服务器),使用分布式 Minio 就 自动引入了纠删码功能。

1.3 纠删码是一种恢复丢失和损坏数据的数学算法, Minio 采用 Reed-Solomon code 将对象拆分成 N/2 数据和 N/2 奇偶校验块。 这就意味着如果是 12 块盘,一个对象会被分成 6 个数据块、6 个奇偶校验块,你可以丢失任意 6 块盘(不管其是存放的数据块还是奇偶校验块),你仍可以从剩下的盘中的数据进行恢复。

1.4	纠删码的工作原理和 RAID 或者复制不同,像 RAID6 可以在损失两块盘的情况下不丢数据,而 Minio 纠删码可以在丢失一半的盘的情况下,仍可以保证数据安全。 而且 Minio 纠删码是作用在对象级别,可以一次恢复一个对象,而RAID 是作用在卷级别,数据恢复时间很长。 Minio 对每个对象单独编码,存储服务一经部署,通常情况下是不需要更换硬盘或者修复。Minio 纠删码的设计目标是为了性能和尽可能的使用硬件加速。

1.5	位衰减又被称为数据腐化 Data Rot、无声数据损坏 Silent Data Corruption ,是目前硬盘数据的一种严重数据丢失问题。硬盘上的数据可能会神不知鬼不觉就损坏了,也没有什么错误日志。正所谓明枪易躲,暗箭难防,这种背地里犯的错比硬盘直接故障还危险。 所以 Minio 纠删码采用了高速 HighwayHash 基于哈希的校验和来防范位衰减。

2、高可用

2.1	单机 Minio 服务存在单点故障,相反,如果是一个 N 节点的分布式 Minio ,只要有 N/2 节点在线,你的数据就是安全的。不过你需要至少有 N/2+1 个节点来创建新的对象。例如,一个 8 节点的 Minio 集群,每个节点一块盘,就算 4 个节点宕机,这个集群仍然是可读的,不过你需要 5 个节点才能写数据。

3、限制

3.1	分布式 Minio 单租户存在最少 4 个盘最多 16 个盘的限制(受限于纠删码)。这种限制确保了 Minio 的简洁,同时仍拥有伸缩性。如果你需要搭建一个多租户环境,你可以轻松的使用编排工具(Kubernetes)来管理多个Minio实例。注意,只要遵守分布式 Minio 的限制,你可以组合不同的节点和每个节点几块盘。比如,你可以使用 2 个节点,每个节点 4 块盘,也可以使用 4 个节点,每个节点两块盘,诸如此类。

4、一致性

4.1	Minio 在分布式和单机模式下,所有读写操作都严格遵守 read-after-write 一致性模型。 

二、Minio分布式集群搭建

1、服务器准备

注意minio的数据盘需要和系统盘分开,因为minio集群启动时需要格式化硬盘,以下服务节点为我虚拟机创建,每个节点除系统盘外,各外挂一块硬盘。

附:centos硬盘扩容、挂载

服务器节点 存储目录 操作系统
192.168.80.11 /miniodata/data centos7_64
192.168.80.12 /miniodata/data centos7_64
192.168.80.13 /miniodata/data centos7_64
192.168.80.14 /miniodata/data centos7_64

2、下载官网二进制文件

liunx下载地址:https://dl.min.io/server/minio/release/linux-amd64/minio

window下载地址:http://dl.minio.org.cn/server/minio/release/windows-amd64/minio.exe

因为我们是centos系统,所以我们用liunx下载地址即可

3、开始部署

注意:以下操作需要在每一台服务器上操作一遍。

3.1、创建目录

[root@localhost ~]# mkdir -p /miniodata/{app,data,logs}
app:启动脚本及二进制文件目录;
data:数据存储目录;
logs:日志文件目录;

3.2、上传二进制minio文件

上传到 /miniodata/app 目录中

3.3、编写集群启动脚本

[root@localhost ~]# vi /miniodata/app/run.sh
#!/bin/bash
export MINIO_ROOT_USER=minio@admin
export MINIO_ROOT_PASSWORD=minio@admin
nohup /miniodata/app/minio server  --address ':9110' --console-address ':9111'  http://192.168.80.11/miniodata/data http://192.168.80.12/miniodata/data http://192.168.80.13/miniodata/data http://192.168.80.14/miniodata/data >/miniodata/logs/minio.log 2>&1 &
MINIO_ACCESS_KEY:用户名;
MINIO_SECRET_KEY:密码,密码不能过于简单,最好是大小写加特殊字符,长度大于8--address:minio默认端口为9000,通过此配置可更改默认端口,自己按需要添加。
--console-address 控制台端口号

3.4、给目录赋予权限

[root@localhost ~]# chmod +x /miniodata/app/minio && chmod +x /miniodata/app/run.sh

4、启动集群

4.1、启动之前先关闭防火墙

#查看防火墙状态
systemctl status firewalld
#关闭防火墙
systemctl stop firewalld.service 
#禁止防火墙开机启动
systemctl disable firewalld.service

4.2、启动集群

按3的步骤依次在4台服务器上操作之后,用下面命令依次启动集群**

注意:启动之前要确保数据目录是独立挂载硬盘,并且目录为空,不然启动不成功!!!

 [root@localhost ~]# cd /miniodata/app
 [root@localhost ~]# ./run.sh

启动成功:

MinIO Console

minio分布式集群部署_第1张图片

minio分布式集群部署_第2张图片

你可能感兴趣的:(java技术分享,工具类,分布式,java,开发语言,minio)