Python 实现断点续传以及下载进度条显示

一、文件下载

使用 requests 模块实现文件的下载

import requests

# url:文件下载的网络地址
# dst:下载路径以及文件名
response = requests.get(url)
if response.ok:
    with(open(dst, 'wb')) as f:
        f.write(response.content)

当下载的文件较大时，可以使用分段下载来实现，避免文件过大而卡死

import requests

# url:文件下载的网络地址
# dst:下载路径以及文件名
response = requests.get(url, stream=True)
if response.ok:
    with(open(dst, 'wb')) as f:
        for chunk in response.iter_content(chunk_size=1024):
            if chunk:
                f.write(chunk)

即在 requests.get() 中设置参数 stream 为 True，开启分段下载。chunk_size为每次分段的大小

二、断点续传

思路：获取下载文件的总大小，再获取已经下载部分文件的大小，从而设置请求头，请求下载文件剩下的部分

import requests
from urllib.request import urlopen

# url:文件下载的网络地址
# dst:下载路径以及文件名
file_size = int(urlopen(url).info().get('Content-Length', -1)) #获取下载文件的总大小

if os.path.exists(dst): 
    first_byte = os.path.getsize(dst) #获取已经下载部分文件的大小
else:
    first_byte = 0

header = {"Range": "bytes=%s-%s" % (first_byte, file_size)} #设置下载头

req = requests.get(url, headers=header, stream=True) #请求下载文件剩下的部分
with(open(dst, 'ab')) as f:
    for chunk in req.iter_content(chunk_size=1024):
        if chunk:
            f.write(chunk)

三、进度条显示

使用 tqdm 模块实现显示进度条
安装

pip install tqdm

简单的使用

from tqdm import tqdm
import time

pbar = tqdm(total=100)
for i in range(10):
    time.sleep(0.1)
    pbar.update(10)
pbar.close()

实现断点续传以及下载进度条显示的整体代码

# -*- coding: utf-8 -*-
import os
import requests
from urllib.request import urlopen
from tqdm import tqdm

def download_from_url(url, dst):
    response = requests.get(url)
    if response.ok:
        print(dst.split('\\')[-1] + ' 获取成功')
        file_size = int(urlopen(url).info().get('Content-Length', -1)) #获取下载文件大小
        if os.path.exists(dst): #判断下载文件是否存在
            first_byte = os.path.getsize(dst) #获取已经下载部分的文件大小
        else:
            first_byte = 0
        if first_byte >= file_size:
            return file_size
        header = {"Range": "bytes=%s-%s" % (first_byte, file_size)} #设置下载头
        pbar = tqdm( #设置显示进度条
            total=file_size, initial=0,
            unit='B', unit_scale=True, desc=dst.split('\\')[-1])
        req = requests.get(url, headers=header, stream=True) #分段下载
        with(open(dst, 'ab')) as f:
            for chunk in req.iter_content(chunk_size=1024):
                if chunk:
                    f.write(chunk)
                    pbar.update(1024) #更新进度条
        pbar.close()
        return file_size
    else:
        print(dst.split('\\')[-1] + ' 获取失败')
        return 0


if __name__ == '__main__':

    # ...数据处理...

    for apk in apk_url:
        url = apk['download_url']
        path = fail_path + '\\' + apk['name'] + '.apk'
        # 下载apk
        if download_from_url(url,path):
            print(apk['name'] + '下载成功')
        else:
            print(apk['name'] + '下载失败')

对于 tdqm 中的参数：
total：期待的迭代数，默认为None，则尽可能的迭代下去。
initial：初始计数器值，默认值为0
unit：用来定义每个迭代单元的字符串。默认为"it"，表示每个迭代；在下载或解压时，设为"B"，代表每个“块”。
unit_scale：设置为1或者True，如果迭代数过大，它就会自动在后面加上M、k等字符来表示迭代进度等。默认为False。比如，在下载进度条的例子中，如果为False，数据大小是按照字节显示，设为True之后转换为Kb、Mb。
desc：进度条的前缀

更多 tdqm 的参数可以参考 https://www.cnblogs.com/wanghui-garcia/p/11514579.html