【高可用对象存储实战】使用Python操作Minio存储桶
目录
-
-
- 什么是Minio
- 下载Minio
- 什么是《桶》？
- 启动和配置Minio
- Python API交互实现文件上传并获取可分享链接
-
- PyPI包安装
- 终端构造
- 桶的检查
- 获取可分享URL
- 结语
-
什么是Minio
Minio是一个基于Golang实现的高可用、高弹性的开源对象存储系统（OSS），皆在提供云上的高可扩展与高性能的分布式文件存储系统。
Minio十分的易部署，主需要极短的命令行即可实现运行与运维双重工作流。
下载Minio
我们前往min.io进行下载，之所以不使用中文镜像源进行下载的一个原因是，笔者在开始配置Minio时遇到了镜像404不可用的现象，当然读者您也可以重新尝试前往中文镜像站进行下载，这里以min.io镜像站进行操作。
wget https://dl.min.io/server/minio/release/linux-amd64/minio
下载好后，我们就得到了minio的二进制执行文件。
[root@localhost minio_server_side]# ls -al
total 108340
drwxr-xr-x. 4 root root 88 Jan 12 20:20 .
dr-xr-x---. 14 root root 4096 Jan 15 23:59 ..
drwxr-xr-x. 4 root root 39 Jan 15 17:40 data
drwxr-xr-x. 2 root root 24 Jan 12 19:28 logs
-rwxr-xr-x. 1 root root 110919680 Jan 12 15:05 minio
-rwxr-xr-x. 1 root root 48 Jan 12 19:38 runServer.sh
-rw-------. 1 root root 12288 Jan 12 20:20 .runserver.sh.swp
[root@localhost minio_server_side]#
为这个二进制文件进行加权：
sudo chmod +x ./minio
什么是《桶》？
在Minio中的概念中一共有两个重要概念，即桶和对象。
对象可以很好理解，无非就是传统意义上的文件对象，一个单独的file object。
可什么又是桶呢？你可以将文件对象抽象为水，那么水由桶撑着就很好理解。而Minio中的桶也是借鉴了这个概念，实际上这个桶也的确是一个标准的Linux文件夹。
我们通过cd和ls指令来检查桶，这里我们有一个名为：replays的桶。我们分别使用ls -al和cd指令来试试看：
ls -al:
[root@localhost data]# ls -al
total 0
drwxr-xr-x. 4 root root 39 Jan 15 17:40 .
drwxr-xr-x. 4 root root 88 Jan 12 20:20 ..
drwxr-xr-x. 7 root root 98 Jan 15 17:40 .minio.sys
drwxr-xr-x. 3 root root 24 Jan 14 09:24 replays
cd：
[root@localhost data]# cd replays/
[root@localhost replays]# ls
output.avi
[root@localhost replays]#
至此，Minio中最重要的两个概念已经解释清楚了。
启动和配置Minio
我们使用nohup来为Minio创建守护进程
nohup minio server ./data > ./logs/server.log &
- sever：指定minio server的管道操作，如果在不指定具体操作，如：
start（启动）、stop（停止）、restart（重启） - ./data：指定Minio的主数据路径，所有的桶以及对象将存储在这里
启动后，访问您主机的IP:9000后，你将会在浏览器看到如下的界面：
至此，Minio的配置与启动就完成了。
Python API交互实现文件上传并获取可分享链接
PyPI包安装
Minio官方提供了可用的PyPI包，通过如下指令进行安装
pip install minio
终端构造
安装好后，我们将开始创建Minio客户端对象：
# 从minio库中导入Minio客户端类
from minio import Minio
# 实例化
client = Minio(
# endpoint指定的是你Minio的远程IP及端口
endpoint = "192.168.40.11:9000",
# accesskey指定的是你的Minio服务器访问key
# 默认值为minioadmin
access_key= "minioadmin",
# secret_key指定的是你登录时需要用的key，类似密码
# 默认值也是minioadmin
secret_key= "minioadmin",
# secure指定是否以安全模式创建Minio连接
# 建议为False
secure= False
桶的检查
当我们创建好客户端后，我们需要开始与存储桶进行连接，通过client.bucket_exists()函数直接进行存储桶的查询，该还是接受一个参数：bucket_name，为了防止因存储桶不存在而无法上传的情况，我们使用if来进行检查：
if client.bucket_exists("replays"):
我们一定要通过桶连接来检查终端与Minio服务器的连接，因为当你创建Minio Client对象时，不会与远程服务器发生sock连接，而只有当检查桶或执行I/O操作时才会发生sock连接。
检查了连接性后，我们可以打开我们的目标文件了：
# 使用with open打开目标文件
with open("output.avi","rb") as file_data:
# 使用os.path.getsize()获取目标文件的大小
bytes_length = os.path.getsize("output.avi")
确认文件的可读性和大小后，我们可以使用client.put_object()函数将目标文件存储到远程存储桶内：
client.put_object("replays", "output.avi", file_data, bytes_length)
其中该函数的四个参数分别为：
- bucket_name：目标远程存储桶名，指定文件将被存储在哪个桶下。
- object_name：指定目标文件将在远程桶下以什么名字被存储。
- data：指定文件的I/O缓冲数据，这也是为什么我们用with open先读取文件了
- length：Minio需要在上传时指定文件的大小，它并不会自动计算文件的大小，因此需要我们在终端获取到文件的大小并作为参数传递给API。
获取可分享URL
使用client.presigned_get_object()函数获取一个文件对象的可分享URL。
url = client.presigned_get_object("replays", "output.avi")
print(url)
执行后的结果是：
PS E:\My Code\attention-concentration-test\production\student\cache> python .\test.py
http://192.168.40.11:9000/replays/output.avi?X-Amz-Algorithm=AWS4-HMAC-SHA256&X-Amz-Credential=minioadmin%2F20230115%2Fus-east-1%2Fs3%2Faws4_request&X-Amz-Date=20230115T163642Z&X-Amz-Expires=604800&X-Amz-SignedHeaders=host&X-Amz-Signature=a1bc19c5568dd5e6963362a2a74fc0876cbe68333253f2023df266308b0ea650
复制这段URL到IDM下载器来检验可用性：
可以看到，IDM已经成功识别了该URL，并且这个.avi录像是可读的：
请不要在意我的脸，颜值无用，技术乃大！！
同时我们刷新Minio的Web中控台，可以发现文件也的确被存到桶里了
结语
作为被阿里，腾讯，百度，Amazon使用的对象存储OSS框架，MinIO确实做到了小而轻，快而稳。且高弹性的部署，让云对象存储充满了无限的可能。高可用，多语言的API让运维人员与开发者可以更轻松的使用和维护公共/私有的存储资源。
自后附上各种语言的API文档，下期博客再见。
- .NET API文档
- Python API文档
- Golang API文档
- Java API文档
- JS API文档