Amazon S3

Amazon Simple Storage Service (Amazon S3) 是一种面向 Internet 的存储服务。您可以通过 Amazon S3 随时在 Web 上的任何位置存储和检索的任意大小的数据

官方文档
https://www.amazonaws.cn/documentation

运维把服务配好以后，给了一个账号，可以登录查看S3的存储效果

作为一个职业前端选手，看到官方提供了Node的开发文档，果断使用Node进行效果测试

在配置文件配置 aws_key 和 aws_secret 以及 region_name (注意：国内北京区域是 cn-north-1)

配置好以后发现通过官方提供的 Demo 连接不上，总是提示 Key 错误，找了好多方案都没解决，当时就无语了，后来继续看官方文档，后来想到 python 也有实现，要不换 python 试试？配置之类的都没变，python 代码拿来就能跑，既然这么顺，那就用 python 做开发测试吧

获取存储桶名称

import boto3

s3 = boto3.resource('s3')

# 获取存储桶名称
for bucket in s3.buckets.all():
    print(bucket.name)

上传

import boto3
s3 = boto3.client('s3')

# 上传本地图片
data = open('test.jpg', 'rb')
s3.Bucket('skin-test').put_object(Key='test.jpg', Body=data)

# 通过名称上传文件
s3.upload_file('test.jpg', 'skin-test', 'test-file2.jpg')

# 上传时 ExtraArgs 用于指定附加参数，例如用户提供元数据
s3.upload_file(
    "test.jpg", "skin-test", "test-file3.jpg",
    ExtraArgs={"Metadata": {"mykey": "myvalue"}}
)

# 上传一个可读的类文件对象
with open('package-lock.json', 'rb') as f:
    s3.upload_fileobj(f, 'skin-test', 'package-lock.json')

获取上传进度

# 为了跟踪传输的进度，可以提供进度回调，以便每次在传输进度时调用回调
import os 
import sys
import threading

import boto3

class ProgressPercentage(object):
    def __init__(self, filename):
        self._filename = filename
        self._size = float(os.path.getsize(filename))
        self._seen_so_far = 0 
        self._lock = threading.Lock()
    def __call__(self, bytes_amount):
        with self._lock:
            self._seen_so_far += bytes_amount
            percentage = (self._seen_so_far / self._size) * 100
            sys.stdout.write(
                "\r%s %s / %s (%.2f%%)" % (
                    self._filename, self._seen_so_far, self._size, percentage))
            sys.stdout.flush()

s3 = boto3.client('s3')
s3.upload_file(
    "001.tif", "skin-test", "001.tif",
    Callback=ProgressPercentage("001.tif"))

下载

# 根据名称下载文件
import boto3

s3 = boto3.client('s3')

s3.download_file("skin-test", "001.tif", "001.tif")

显示下载进度

import sys
import threading

import boto3

class ProgressPercentage(object):
    def __init__(self, filename):
        self._filename = filename
        self._seen_so_far = 0
        self._lock = threading.Lock()
    def __call__(self, bytes_amount):
        with self._lock:
            self._seen_so_far += bytes_amount
            sys.stdout.write(
                "\r%s --> %s bytes transferred" % (
                    self._filename, self._seen_so_far))
            sys.stdout.flush()

s3 = boto3.client('s3')

s3.download_file(
    "skin-test", "001.tif", "download_001.tif",
    Callback=ProgressPercentage("download_001.tif"))

生成预签名url链接

import boto3
import requests

s3 = boto3.client('s3')

url = s3.generate_presigned_url(
    ClientMethod='get_object',
    Params={
        'Bucket': 'skin',
        'Key': 'server2.js'
    }
)
print(url)

注意：这里需要进行ICP备案以后url才能正常运行，否则会提示无权操作

You are not authorized to perform this operation