【高可用对象存储实战】使用Python操作Minio存储桶

目录

      • 什么是Minio
      • 下载Minio
      • 什么是《桶》?
      • 启动和配置Minio
      • Python API交互实现文件上传并获取可分享链接
        • PyPI包安装
        • 终端构造
        • 桶的检查
        • 获取可分享URL
      • 结语

什么是Minio

Minio是一个基于Golang实现的高可用、高弹性的开源对象存储系统(OSS),皆在提供云上的高可扩展与高性能的分布式文件存储系统。
Minio十分的易部署,主需要极短的命令行即可实现运行与运维双重工作流。

下载Minio

我们前往min.io进行下载,之所以不使用中文镜像源进行下载的一个原因是,笔者在开始配置Minio时遇到了镜像404不可用的现象,当然读者您也可以重新尝试前往中文镜像站进行下载,这里以min.io镜像站进行操作。

wget https://dl.min.io/server/minio/release/linux-amd64/minio

下载好后,我们就得到了minio的二进制执行文件。

[root@localhost minio_server_side]# ls -al
total 108340
drwxr-xr-x.  4 root root        88 Jan 12 20:20 .
dr-xr-x---. 14 root root      4096 Jan 15 23:59 ..
drwxr-xr-x.  4 root root        39 Jan 15 17:40 data
drwxr-xr-x.  2 root root        24 Jan 12 19:28 logs
-rwxr-xr-x.  1 root root 110919680 Jan 12 15:05 minio
-rwxr-xr-x.  1 root root        48 Jan 12 19:38 runServer.sh
-rw-------.  1 root root     12288 Jan 12 20:20 .runserver.sh.swp
[root@localhost minio_server_side]# 

为这个二进制文件进行加权:

sudo chmod +x ./minio

什么是《桶》?

在Minio中的概念中一共有两个重要概念,即桶和对象。
对象可以很好理解,无非就是传统意义上的文件对象,一个单独的file object。
可什么又是桶呢?你可以将文件对象抽象为水,那么水由桶撑着就很好理解。而Minio中的桶也是借鉴了这个概念,实际上这个桶也的确是一个标准的Linux文件夹。
我们通过cdls指令来检查桶,这里我们有一个名为:replays的桶。我们分别使用ls -alcd指令来试试看:

ls -al:

[root@localhost data]# ls -al
total 0
drwxr-xr-x. 4 root root 39 Jan 15 17:40 .
drwxr-xr-x. 4 root root 88 Jan 12 20:20 ..
drwxr-xr-x. 7 root root 98 Jan 15 17:40 .minio.sys
drwxr-xr-x. 3 root root 24 Jan 14 09:24 replays

cd

[root@localhost data]# cd replays/
[root@localhost replays]# ls
output.avi
[root@localhost replays]# 

至此,Minio中最重要的两个概念已经解释清楚了。

启动和配置Minio

我们使用nohup来为Minio创建守护进程

nohup minio server ./data > ./logs/server.log &
  • sever:指定minio server的管道操作,如果在不指定具体操作,如:start(启动)stop(停止)restart(重启)
  • ./data:指定Minio的主数据路径,所有的桶以及对象将存储在这里

启动后,访问您主机的IP:9000后,你将会在浏览器看到如下的界面:
【高可用对象存储实战】使用Python操作Minio存储桶_第1张图片
至此,Minio的配置与启动就完成了。

Python API交互实现文件上传并获取可分享链接

PyPI包安装

Minio官方提供了可用的PyPI包,通过如下指令进行安装

pip install minio

终端构造

安装好后,我们将开始创建Minio客户端对象:

# 从minio库中导入Minio客户端类
from minio import Minio
# 实例化
client = Minio(
	# endpoint指定的是你Minio的远程IP及端口
	endpoint = "192.168.40.11:9000",
	# accesskey指定的是你的Minio服务器访问key
	# 默认值为minioadmin
	access_key= "minioadmin",
	# secret_key指定的是你登录时需要用的key,类似密码
	# 默认值也是minioadmin
	secret_key= "minioadmin",
	# secure指定是否以安全模式创建Minio连接
	# 建议为False
	secure= False

桶的检查

当我们创建好客户端后,我们需要开始与存储桶进行连接,通过client.bucket_exists()函数直接进行存储桶的查询,该还是接受一个参数:bucket_name,为了防止因存储桶不存在而无法上传的情况,我们使用if来进行检查:

if client.bucket_exists("replays"):

我们一定要通过桶连接来检查终端与Minio服务器的连接,因为当你创建Minio Client对象时,不会与远程服务器发生sock连接,而只有当检查桶或执行I/O操作时才会发生sock连接。

检查了连接性后,我们可以打开我们的目标文件了:

# 使用with open打开目标文件
with open("output.avi","rb") as file_data:
   # 使用os.path.getsize()获取目标文件的大小
   bytes_length = os.path.getsize("output.avi")

确认文件的可读性和大小后,我们可以使用client.put_object()函数将目标文件存储到远程存储桶内:

client.put_object("replays", "output.avi", file_data, bytes_length)

其中该函数的四个参数分别为:

  • bucket_name:目标远程存储桶名,指定文件将被存储在哪个桶下。
  • object_name:指定目标文件将在远程桶下以什么名字被存储。
  • data:指定文件的I/O缓冲数据,这也是为什么我们用with open先读取文件了
  • length:Minio需要在上传时指定文件的大小,它并不会自动计算文件的大小,因此需要我们在终端获取到文件的大小并作为参数传递给API。

获取可分享URL

使用client.presigned_get_object()函数获取一个文件对象的可分享URL。

url = client.presigned_get_object("replays", "output.avi")
print(url)

执行后的结果是:

PS E:\My Code\attention-concentration-test\production\student\cache> python .\test.py
http://192.168.40.11:9000/replays/output.avi?X-Amz-Algorithm=AWS4-HMAC-SHA256&X-Amz-Credential=minioadmin%2F20230115%2Fus-east-1%2Fs3%2Faws4_request&X-Amz-Date=20230115T163642Z&X-Amz-Expires=604800&X-Amz-SignedHeaders=host&X-Amz-Signature=a1bc19c5568dd5e6963362a2a74fc0876cbe68333253f2023df266308b0ea650

复制这段URL到IDM下载器来检验可用性:
【高可用对象存储实战】使用Python操作Minio存储桶_第2张图片
可以看到,IDM已经成功识别了该URL,并且这个.avi录像是可读的:

请不要在意我的脸,颜值无用,技术乃大!!
【高可用对象存储实战】使用Python操作Minio存储桶_第3张图片

同时我们刷新Minio的Web中控台,可以发现文件也的确被存到桶里了
【高可用对象存储实战】使用Python操作Minio存储桶_第4张图片

结语

作为被阿里,腾讯,百度,Amazon使用的对象存储OSS框架,MinIO确实做到了小而轻,快而稳。且高弹性的部署,让云对象存储充满了无限的可能。高可用,多语言的API让运维人员与开发者可以更轻松的使用和维护公共/私有的存储资源。
自后附上各种语言的API文档,下期博客再见。

  • .NET API文档
  • Python API文档
  • Golang API文档
  • Java API文档
  • JS API文档

你可能感兴趣的:(python,云原生,云计算)