python多线程文件的数据续传_python多线程实现S3文件分段上传下载

对于大对象的存取，s3提供了分段上传/下载的接口，基于此，可以进一步实现多线程并行传输或者断点续传等功能。

1.分段上传

为了分段上传一个大文件，需要先将文件分段，然后使用云盘提供的Multipart接口上传每个分段即可，最后云盘将在后端把所有分段合并成一个Object。

下面的例子中使用了FileChunkIO分段读取文件：

chunksize=4096*1024

chunkcnt=int(math.ceil(filesize*1.0/chunksize))

mp=bucket.initiate_multipart_upload("object-1") #创建Multipart对象

for i in range(0,chunkcnt):

offset=chunksize*i

len=min(chunksize,filesize-offset)

fp=FileChunkIO(“/path/to/file”,'r',offset=offset,bytes=len) #创建文件的分段

mp.upload_part_from_file(fp,part_num=i+1) #上传每个分段

mp.complete_upload()

完成分段上传之后，需要使用Multipart的complete_upload()或者cancel_upload()结束分段上传，释放Multipart占用的资源。

2.分段下载

为了使用分段下载，需要指定分段在文件中的起始偏移地址和终止偏移地址，然后构造包含Range报文头的HTTP Get请求下载相应的分段。

示例如下：<