在SpringBoot应用中使用Minio作为云存储服务
除去阿里云之类的公有云,自己搭建一个私有云也是蛮不错的,虽然访问速率受到服务器带宽限制,但是它的存储和访问都是免费的。对于一般的APP来说,够够的。
Minio
Minio是什么
- Minio是Apache License v2.0下发布的对象存储服务器
- 它与Amazon S3云存储服务兼容
- 它最适合存储非结构化数据: 如照片, 视频, 日志文件, 备份和容器/VM映像
- 对象的大小可以从几KB到最大5TB
- Minio服务器足够轻, 可以与应用程序堆栈捆绑在一起, 类似于NodeJS, Redis和MySQL
官方地址
Github
https://github.com/minio/minio
中文文档
https://docs.min.io/cn/minio-quickstart-guide.html
安装
Minio可以使用Docker或者二进制文件的方式进行安装部署。
推荐使用Docker,这种方式便捷好维护。在开始安装之前。确定你的服务器正确的安装了Docker。
安装指令
docker run -p 9000:9000 --name minio1 \
-e "MINIO_ACCESS_KEY=AKIAIOSFO******" \
-e "MINIO_SECRET_KEY=wJalrXUtnFEMI/K******" \
-v /mnt/data:/data \
-v /mnt/config:/root/.minio \
minio/minio server /data
-
MINIO_ACCESS_KEY
和MINIO_SECRET_KEY
可以理解为访问web控制台和api接口的账户名和密码。千万要认真设置。 - 共享卷的设置
-
-v /mnt/data:/data \
,指定数据存储在宿主机的/mnt/data
-
-v /mnt/config:/root/.minio \
,指定宿主机的配置文件目录/mnt/config
-
耐心等待安装完成,安装成功如下图。Minio在 9000 端口提供服务
Web控制台的基本使用
打开控制台:http://{host}:9000/minio/
,输入用户名和密码(安装时设置的 MINIO_ACCESS_KEY
和 MINIO_SECRET_KEY
)登录到主页面
整个后台干净,简单。这也是Minio迷人的一个地方
Bucket的添加
Bucket
,表示一个仓库,从存储上来说,可以理解为一个目录。可以通过右下角的圆点菜单来创建多个。
在Bucket
中,可以通过顶部的路径菜单添加路径,可以通过右下角的圆点菜单,上传文件到当前路径。
Bucket的匿名读写权限
Bucket中的资源,默认情况下,不允许匿名用户访问。鼠标指向Bucket,可以从左边菜单中选择Edit Policy,添加Bucket的匿名访问权限。
可以添加多个权限,使用不同的访问 prefix
区分。
一般都是允许匿名读,所以添加一个 Rea Only
记录即可
资源的访问路径
http://{host}:9000/{bucket}/{file}
例如我在名为images
的bucket中有一张图片在路径 /2020/06/19
目录下,名字叫做 58c4e5c7fd6714e4fa7cc5527d9091080207633d.png
则访问路径为:
http://{host}:9000/images/2020/06/19/58c4e5c7fd6714e4fa7cc5527d9091080207633d.png
授予文件的临时读取权限
有些特定的资源,不允许匿名用户随意的访问。此时可以删除掉bucket
的Edit Policy。不允许匿名用户随意访问。
在指定资源的菜单中,选择Share Object,创建一个资源临时的访问链接。并且可以设置过期时间
在SpringBoot中使用Minio
Minio提供的SDK
io.minio
minio
7.0.2
把基本信息配置在yaml
minio:
# bucket名称
bucket: "images"
# Minio服务地址
host: "http://oss.springboot.io:9000"
# 访问路径
url: "${minio.host}/${minio.bucket}/"
# MINIO_ACCESS_KEY
access-key: "a6ac0d8d-b1d7-***************"
# MINIO_SECRET_KEY
secret-key: "b1c35d89-b1d7-***************"
MinioHelper
import java.io.IOException;
import java.io.InputStream;
import java.nio.charset.StandardCharsets;
import java.security.InvalidKeyException;
import java.security.NoSuchAlgorithmException;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.stereotype.Component;
import org.springframework.web.multipart.MultipartFile;
import org.springframework.web.util.UriUtils;
import io.minio.MinioClient;
import io.minio.PutObjectOptions;
import io.minio.errors.ErrorResponseException;
import io.minio.errors.InsufficientDataException;
import io.minio.errors.InternalException;
import io.minio.errors.InvalidBucketNameException;
import io.minio.errors.InvalidEndpointException;
import io.minio.errors.InvalidPortException;
import io.minio.errors.InvalidResponseException;
import io.minio.errors.RegionConflictException;
import io.minio.errors.XmlParserException;
@Component
public class MinioHelper {
@Value(value = "${minio.bucket}")
private String bucket;
@Value(value = "${minio.host}")
private String host;
@Value(value = "${minio.url}")
private String url;
@Value(value = "${minio.access-key}")
private String accessKey;
@Value(value = "${minio.secret-key}")
private String secretKey;
public String putObject(MultipartFile multipartFile) throws InvalidEndpointException, InvalidPortException,
IOException, InvalidKeyException, ErrorResponseException, IllegalArgumentException,
InsufficientDataException, InternalException, InvalidBucketNameException, InvalidResponseException,
NoSuchAlgorithmException, XmlParserException, RegionConflictException {
MinioClient minioClient = new MinioClient(this.host, this.accessKey, this.secretKey);
// bucket 不存在,创建
if (!minioClient.bucketExists(this.bucket)) {
minioClient.makeBucket(this.bucket);
}
try (InputStream inputStream = multipartFile.getInputStream()) {
// 上传文件的名称
String fileName = multipartFile.getOriginalFilename();
// PutObjectOptions,上传配置(文件大小,内存中文件分片大小)
PutObjectOptions putObjectOptions = new PutObjectOptions(multipartFile.getSize(), PutObjectOptions.MIN_MULTIPART_SIZE);
// 文件的ContentType
putObjectOptions.setContentType(multipartFile.getContentType());
minioClient.putObject(this.bucket, fileName, inputStream, putObjectOptions);
// 返回访问路径
return this.url + UriUtils.encode(fileName, StandardCharsets.UTF_8);
}
}
}
这里仅仅实现了简单的文件上传,SDK具备一些对Minio资源管理的API。需要自己去学习。
TestController
import java.io.IOException;
import java.security.InvalidKeyException;
import java.security.NoSuchAlgorithmException;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.web.bind.annotation.PostMapping;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RequestParam;
import org.springframework.web.bind.annotation.RestController;
import org.springframework.web.multipart.MultipartFile;
import io.minio.errors.ErrorResponseException;
import io.minio.errors.InsufficientDataException;
import io.minio.errors.InternalException;
import io.minio.errors.InvalidBucketNameException;
import io.minio.errors.InvalidEndpointException;
import io.minio.errors.InvalidPortException;
import io.minio.errors.InvalidResponseException;
import io.minio.errors.RegionConflictException;
import io.minio.errors.XmlParserException;
import io.springboot.twitter.minio.MinioHelper;
@RestController
@RequestMapping("/test")
public class TestController {
@Autowired
MinioHelper minioHelper;
@PostMapping("/upload")
public Object upload (@RequestParam("file") MultipartFile multipartFile) throws InvalidKeyException, InvalidEndpointException, InvalidPortException, ErrorResponseException, IllegalArgumentException, InsufficientDataException, InternalException, InvalidBucketNameException, InvalidResponseException, NoSuchAlgorithmException, XmlParserException, RegionConflictException, IOException {
return this.minioHelper.putObject(multipartFile);
}
}
测试上传
浏览器访问
网关
对于云存储,很重要的一点就是网关,譬如防盗链等安全设置,都依赖于网关。Minio支持N种网关,文档都有给出示例。
可以通过Nginx之类的作为代理服务器,通过Nginx来配置允许访问域名。