进度条：tqdm的使用和例子

1. tqdm的介绍

有时候在使用Python处理比较耗时操作的时候，为了便于观察处理进度，这时候就需要通过进度条将处理情况进行可视化展示，以便我们能够及时了解情况。

tqdm就能非常完美的支持和解决这些问题，可以实时输出处理进度而且占用的CPU资源非常少，支持windows、Linux、mac等系统，支持①循环处理、②多进程、③递归处理、还可以结合Linux的命令来查看处理情况，等进度展示。

1.1 tqdm导入

# 方法1
import tqdm

# 方法2
from tqdm import tqdm

    建议使用方法1，因为方法1导入的是一个lib，而方法2导入的是tqdm.tqdm方法

    使用方法2导入就没办法使用tqdm.trange()等方法了

2. tqdm.tqdm()对可迭代对象进行封装

2.1 语法

# 方法1
for i in tqdm.tqdm(可迭代对象):
    pass

# 方法2
for idx, i in enumerate(tqdm.tqdm(可迭代对象)):
    pass

对于可以迭代的对象都可以使用tqdm进行封装实现可视化进度，使用起来非常方便。

2.2 例子

import tqdm
import time

# 定义一个可迭代对象
a = [1, 2, 3, 4, 5, 6, 7, 8, 9, 10]

# 正常的遍历（没有进度条）
for idx, element in enumerate(a):
    print(f"No.{idx}: {element}")
    
# 使用tqdm对可迭代对象进行包装，实现进度条可视化
for idx, element in enumerate(tqdm.tqdm(a)):
    time.sleep(0.5)
    print(f"No.{idx}: {element}")

结果如下：
在这里插入图片描述

Q：为什么结果会一直新建一行?
A：这是因为每次的print内容都不一样，为了能够显示新的内容，所以会这样。

我们看下面这个程序，它因为没有控制台输出，所以进度条就很正常。

在这里插入图片描述

2.3 带有参数的tqdm.tqdm()

Q：进度条可以加一些其他信息吗？
A：当然可以，需要对tqdm进行一些参数调整

@staticmethod
def format_meter(n, total, elapsed, ncols=None, prefix='', ascii=False, unit='it',
                 unit_scale=False, rate=None, bar_format=None, postfix=None,
                 unit_divisor=1000, initial=0, colour=None, **extra_kwargs):

    iterable: 可迭代的对象, 在⼿动更新时不需要进⾏设置
    desc: 字符串, 左边进度条描述⽂字
    total: 总的项⽬数
    leave: bool值, 迭代完成后是否保留进度条
    file: 输出指向位置, 默认是终端, ⼀般不需要设置
    ncols: 调整进度条宽度, 默认是根据环境⾃动调节长度, 如果设置为0, 就没有进度条, 只有输出的信息
    unit: 描述处理项⽬的⽂字, 默认是it, 例如: 100 it/s, 处理照⽚的话设置为img ,则为 100 img/s
    unit_scale: ⾃动根据国际标准进⾏项⽬处理速度单位的换算, 例如 100000 it/s >> 100k it/s
    colour: 进度条颜色

2.3.1 例子1

import tqdm
import time
d = {'loss':0.2,'learn':0.8}

"""
    desc设置名称
    ncols设置进度条长度 -> 建议设置在100以内
    postfix以字典形式传入详细信息
"""
for i in tqdm.tqdm(range(50),desc='名称',ncols=100,postfix=d):
    time.sleep(0.1)
    pass

在这里插入图片描述

    其中xxxit/s表示每秒迭代的次数

2.3.2 例子2

import tqdm
import time

iter_object = range(10, 21)
pbar = tqdm.tqdm(iter_object,
                 total=len(iter_object),
                 leave=True,
                 ncols=100,
                 unit="个",
                 unit_scale=False,
                 colour="red")

for idx, element in enumerate(pbar):
    time.sleep(0.5)
    pbar.set_description(f"No.{idx}")
    pbar.set_postfix({"正在处理的元素为": element})

在这里插入图片描述

3. 自定义进度条显示信息

Q：我就是想print一些东西，可以吗？
A：当然可以，tqdm提供了两个个方法：

    set_description()
    set_postfix()

这两个方法就类似于print，可以在进度条中显示一些变动的信息

3.1 例子1

import tqdm
import time


# 在使用set_description时一般会创建一个tqdm.tqdm()对象
pbar = tqdm.tqdm(["a", "b", "c", "d", "e", "f", "g"])

for idx, element in enumerate(pbar):
    time.sleep(1)
    pbar.set_description(f"No.{idx}: {element}")

在这里插入图片描述

3.2 例子2

import tqdm
import time
import random

epochs = 150

# 在使用set_description()和set_postfix()时一般会创建一个tqdm.tqdm()对象
pbar = tqdm.tqdm(range(epochs), ncols=100)  # ncols设置进度条显示的字符长度，小了就显示不全了

for idx, element in enumerate(pbar):
    time.sleep(0.01)
    pbar.set_description(f"Epoch {idx}/{epochs}")
    pbar.set_postfix({"class": element}, loss=random.random(), cost_time = random.randrange(0, 100))

在这里插入图片描述

3.3 两种方法传参注意事项

set_description和set_postfix都用的kwargs传参，所以我们可以：

    用字典传参 -> pbar.set_postfix({"key_1": "value_1", ...})
    直接用关键字传参 -> pbar.set_postfix(key_1 = value_1, key_2 = value_2, ...)
    混着用 -> pbar.set_postfix({"key_1": value_1, "key_2": value_2, ...}, key_3 = value_3, ...)

4. tqdm内置生成可迭代对象方法 —— trange()

除了tqdm.tqdm(range(xxx))这样的写法外，tqdm也提供了类似的方法，即tqdm.trange(xxx)，例子如下：

import tqdm
import time

pbar = tqdm.trange(300, 400, 1)

for idx, element in enumerate(pbar):
    time.sleep(0.01)
    pbar.set_description(f"No.{idx} -> {element}")

在这里插入图片描述

5. 自定义方法更新进度

有时候我们不仅仅是通过一个for训练来更新进度条，我们也希望在做完某些操作后更新一次进度条，代码如下：

import tqdm
import time

with tqdm.tqdm(total=10) as bar:  # total为进度条总的迭代次数
    # 操作1
    time.sleep(1)
    # 更新进度条
    bar.update(1)  # bar.update()里面的数表示更新的次数，和optimizer.step方法类似
    
    # 操作2
    time.sleep(2)
    # 更新进度条
    bar.update(3)
    
    # 操作3
    time.sleep(1)
    # 更新进度条
    bar.update(6)  # 建议不要超过total

在这里插入图片描述

参考

    https://www.jb51.net/article/218860.htm
    https://www.jb51.net/article/166648.htm
    https://blog.csdn.net/qq_41554005/article/details/117297861