使用 boto3 调用 S3 对象存储
概念解释
-
S3 对象存储
遵循 Amazon S3 协议的对象存储服务
-
boto3
基于s3协议实现了客户端API的 Python SDK，用于调用对象存储服务
-
Endpoint
我们在调用s3对象存储的代码中使用的“Endpoint”，是指对象存储对外服务的访问域名
-
Bucket
Bucket 是指对象存储上的存储空间，可理解为存放对象的“容器”，一个使用对象存储的用户可以拥有多个Bucket。主流的云服务提供商，都会支持用户对特定的Bucket进行访问权限的配置。
-
Object
用户存储在对象存储上的每个文件都是一个 Object，每个Object 有一个键名/健值。对象可以是文本、图片、音频、视频或者网页等。
使用简单对象上传方式时，对象大小限制在5GB以内。
使用分块上传时，每块的大小限制在5GB以内，且分块数量需要小于10000个，即最大上传对象约为48.82TB。
S3 中没有文件夹。只是大多数可用的S3浏览器工具都显示了一部分的键名，并用斜杠分隔为文件夹。
安装 boto3
pip 安装
pip install boto3源码安装
git clone https://github.com/boto/boto3.git && cd boto3 && sudo python setup.py install使用boto3
接下来我们用代码演示一下，怎么使用 boto3
# 初始化 client
access_key = 'AKID10zuoeooooooooooooooooooooo' # ak
secret_key = 'nlbPCvHWkoooooooooooooooooooooo' # sk
s3_host = 'cos.ap-hangzhou.myqcloud.com' # Endpoint
s3client = boto3.client('s3',aws_secret_access_key = secret_key,aws_access_key_id = access_key,endpoint_url = s3_host)# 遍历 bucket
list_buckets = s3client.list_buckets()
print(list_buckets)
# 遍历 bucket下的文件（对象）
bucket_name = 'cxy-1300123456'
file_list = []
response = s3client.list_objects_v2(
Bucket=bucket_name,
# MaxKeys=1000 # 返回数量，如果为空则为全部
)
file_desc = response['Contents']
for f in file_desc:
print('file_name:{},file_size:{}'.format(f['Key'], f['Size']))
file_list.append(f['Key'])
print(file_list)bucket_name = "chenxy-1300123456"
local_file = "./tmp/hello.txt"
oss_key = "hello.txt"
# 上传文件
s3client.upload_file(local_file, bucket_name, oss_key)
# 下载文件
s3client.download_file(bucket_name, oss_key, local_file)更多 boto3支持的方法，参见：https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/s3.html?highlight=put_object#client