Minio分布式集群搭建

一、分布式Minio快速入门

分布式Minio可以让你将多块硬盘（甚至在不同的机器上）组成一个对象存储服务。由于硬盘分布在不同的节点上，分布式Minio避免了单点故障。

1、分布式Minio有什么好处?

在大数据领域，通常的设计理念都是无中心和分布式。Minio分布式模式可以帮助你搭建一个高可用的对象存储服务，你可以使用这些存储设备，而不用考虑其真实物理位置。

数据保护

分布式Minio采用 erasure code（纠删码）来防范多个节点宕机和位衰减bit rot。

分布式Minio至少需要4个节点，使用分布式Minio自动引入了纠删码功能。

高可用

单机Minio服务存在单点故障，相反，如果是一个N节点的分布式Minio,只要有N/2节点在线，你的数据就是安全的。不过你需要至少有N/2+1个节点 Quorum 来创建新的对象。

例如，一个8节点的Minio集群，每个节点一块盘，就算4个节点宕机，这个集群仍然是可读的，不过你需要5个节点才能写数据。

限制

分布式Minio单租户存在最少4个盘最多16个盘的限制（受限于纠删码）。这种限制确保了Minio的简洁，同时仍拥有伸缩性。如果你需要搭建一个多租户环境，你可以轻松的使用编排工具（Kubernetes）来管理多个Minio实例。

注意，只要遵守分布式Minio的限制，你可以组合不同的节点和每个节点几块盘。比如，你可以使用2个节点，每个节点4块盘，也可以使用4个节点，每个节点两块盘，诸如此类。

一致性

Minio在分布式和单机模式下，所有读写操作都严格遵守read-after-write一致性模型。

二、Minio分布式集群搭建

生产环境建议最少4节点
实验环境为2台
10.133.136.208
10.133.136.209

1.minio wget安装

#两台机器操作相同

[root@p0-tkhijbs-jcsszy-web37 data]# wget https://dl.minio.io/server/minio/release/linux-amd64/minio
[root@p0-tkhijbs-jcsszy-web37 data]# chmod +x minio

2.配置启动服务

启动脚本

#两台机器操作相同
[root@p0-tkhijbs-jcsszy-web37 data]# mdkir -pv minio-data1  minio-data2

[root@p0-tkhijbs-jcsszy-web37 data]# ls
mc  minio  minio-data1  minio-data2  miniologs  minio-run.sh  minio-service.sh

[root@p0-tkhijbs-jcsszy-web37 data]# cat minio-run.sh 
#!/bin/bash
export MINIO_ACCESS_KEY=Minio
export MINIO_SECRET_KEY=SCxxxxxxx
 
/data/minio server \
http://10.133.136.208/data/minio-data1  http://10.133.136.208/data/minio-data2 \
http://10.133.136.209/data/minio-data1  http://10.133.136.209/data/minio-data2 \

service服务配置

#两台机器操作相同
[root@p0-tkhijbs-jcsszy-web37 ~]# cat /usr/lib/systemd/system/minio.service
[Unit]
Description=Minio service
Documentation=https://docs.minio.io/
 
[Service]
WorkingDirectory=/data/
ExecStart=/data/minio-run.sh
 
Restart=on-failure
RestartSec=5
 
[Install]
WantedBy=multi-user.target

启动测试

#两台机器操作相同
[root@p0-tkhijbs-jcsszy-web38 data]# systemctl daemon-reload
[root@p0-tkhijbs-jcsszy-web37 data]# systemctl start minio
[root@p0-tkhijbs-jcsszy-web37 data]# systemctl enable minio
Created symlink from /etc/systemd/system/multi-user.target.wants/minio.service to /usr/lib/systemd/system/minio.service.
[root@p0-tkhijbs-jcsszy-web37 data]# systemctl status minio
● minio.service - Minio service
   Loaded: loaded (/usr/lib/systemd/system/minio.service; enabled; vendor preset: disabled)
   Active: active (running) since Mon 2021-10-11 18:41:09 CST; 15h ago
     Docs: https://docs.minio.io/
 Main PID: 10173 (minio-run.sh)
   CGroup: /system.slice/minio.service
           ├─10173 /bin/bash /data/minio-run.sh
           └─10174 /data/minio server http://10.133.136.208/data/minio-data1 http://10.133.136.208/data/minio-data2 http://10.133.136.209/data/minio-data1 http://10...

Oct 11 18:41:40 p0-tkhijbs-jcsszy-web37 minio-run.sh[10173]: DeploymentID: 12a29ac6-fc17-4d9e-a242-916683d4d661
Oct 11 18:41:40 p0-tkhijbs-jcsszy-web37 minio-run.sh[10173]: Error: disk not found: http://10.133.136.209:9000/data/minio-data1 (*errors.errorString)
Oct 11 18:41:40 p0-tkhijbs-jcsszy-web37 minio-run.sh[10173]: 2: cmd/erasure.go:175:cmd.getDisksInfo.func1()
Oct 11 18:41:40 p0-tkhijbs-jcsszy-web37 minio-run.sh[10173]: 1: internal/sync/errgroup/errgroup.go:123:errgroup.(*Group).Go.func1()
Oct 11 18:41:40 p0-tkhijbs-jcsszy-web37 minio-run.sh[10173]: Use `mc admin info` to look for latest server/disk info
Oct 11 18:41:40 p0-tkhijbs-jcsszy-web37 minio-run.sh[10173]: Status:         2 Online, 2 Offline.
Oct 11 18:41:40 p0-tkhijbs-jcsszy-web37 minio-run.sh[10173]: API: http://10.133.136.208:9000  http://127.0.0.1:9000
Oct 11 18:41:40 p0-tkhijbs-jcsszy-web37 minio-run.sh[10173]: Console: http://10.133.136.208:46665 http://127.0.0.1:46665
Oct 11 18:41:40 p0-tkhijbs-jcsszy-web37 minio-run.sh[10173]: Documentation: https://docs.min.io
Oct 11 18:41:40 p0-tkhijbs-jcsszy-web37 minio-run.sh[10173]: WARNING: Console endpoint is listening on a dynamic port (46665), please use --console-address ...ic port.
Hint: Some lines were ellipsized, use -l to show in full.





#10.133.136.208
[root@p0-tkhijbs-jcsszy-web37 data]# netstat -tnlp
Active Internet connections (only servers)
Proto Recv-Q Send-Q Local Address           Foreign Address         State       PID/Program name    
tcp        0      0 0.0.0.0:22              0.0.0.0:*               LISTEN      6200/sshd           
tcp        0      0 0.0.0.0:10050           0.0.0.0:*               LISTEN      6852/zabbix_agentd  
tcp6       0      0 :::22                   :::*                    LISTEN      6200/sshd           
tcp6       0      0 :::19100                :::*                    LISTEN      6049/node_exporter  
tcp6       0      0 :::9000                 :::*                    LISTEN      10174/minio         
tcp6       0      0 :::46665                :::*                    LISTEN      10174/minio 



#10.133.136.209
[root@p0-tkhijbs-jcsszy-web38 ~]# netstat -tnlp
Active Internet connections (only servers)
Proto Recv-Q Send-Q Local Address           Foreign Address         State       PID/Program name    
tcp        0      0 0.0.0.0:10050           0.0.0.0:*               LISTEN      6816/zabbix_agentd  
tcp        0      0 0.0.0.0:22              0.0.0.0:*               LISTEN      6208/sshd           
tcp6       0      0 :::34044                :::*                    LISTEN      7467/minio          
tcp6       0      0 :::19100                :::*                    LISTEN      6082/node_exporter  
tcp6       0      0 :::9000                 :::*                    LISTEN      7467/minio          
tcp6       0      0 :::22                   :::*                    LISTEN      6208/sshd

#10.133.136.209
[root@p0-tkhijbs-jcsszy-web37 data]# cd minio-data1/
[root@p0-tkhijbs-jcsszy-web37 minio-data1]# ls
test
[root@p0-tkhijbs-jcsszy-web37 minio-data1]# cd test/
[root@p0-tkhijbs-jcsszy-web37 test]# ls
test-sean.txt
[root@p0-tkhijbs-jcsszy-web37 test]# pwd
/data/minio-data1/test
[root@p0-tkhijbs-jcsszy-web37 test]# ll /data/minio-data2/
.minio.sys/ test/       
[root@p0-tkhijbs-jcsszy-web37 test]# ll /data/minio-data2/test/
total 0
drwxr-xr-x 2 root root 21 Oct 12 10:41 test-sean.txt
#10.133.136.209
[root@p0-tkhijbs-jcsszy-web38 ~]# ls
anaconda-ks.cfg
[root@p0-tkhijbs-jcsszy-web38 ~]# cd /data/minio-data1/test/
[root@p0-tkhijbs-jcsszy-web38 test]# ls
test-sean.txt
[root@p0-tkhijbs-jcsszy-web38 test]# ll /data/minio-data2/test/
total 0
drwxr-xr-x 2 root root 21 Oct 12 10:41 test-sean.txt